Google刚刚发布了最先进的机器人 - 识别模型-Gemini Robotics -ER 1.5。这是
Google刚刚发布了最先进的机器人 - 识别模型-Gemini Robotics -ER 1.5。这是双子座机器人系列的第一个模型，该模型已广泛向所有开发人员开放。它将作为机器人的先进推理。 Gemini Robotics-ER 1.5（Short Gemini Robotics imbotied的理由）是视觉语言（VLM）的模型，可以在机器人技术领域中引入双子座代理的功能。 Gemini Robotics-ER 1.5是一种令人震惊的模型，在物理世界，本机通话工具中可能较低，并计划逻辑步骤以完成任务。尽管Gemini Robotics-ER 1.5与其他Gemini模型相似，但它是专门为增强机器人的感知和现实世界接触功能而构建的。它提供了高级概念能力，可以通过解释复杂的视觉数据，进行空间推理和基于自然语言命令的计划操作来解决过时的问题，gemini robotics-er 1.5旨在与现有的机器人和行为合作。它可以连续称呼机器人压迫者，允许模型寻找这些行为，以便机器人可以通过Gemini机器人技术-ER 1.5完成长期的活动，可以开发以下机器人应用：使人们能够更轻松地指定机器人，使机器人更容易地指定，适应，适应和响应在开放环境中的范围和固定型号的固定范围。不同环境项目的盒子。了解对象的关系2。空间布局和环境环境信息的原因以做出决策。抓取计划和跟踪3。开发抓点和轨道以操纵对象。定义动态场景4。学习视频框架以跟踪事物并在一段时间内了解动作。编排长期活动5。自然语言命令将腐烂一系列逻辑子任务，并对现有机器人行为进行功能呼叫。人类计算机联系6。通过文本或声音了解自然语言提供的说明。 Gemini Robotics-ER 1.5现在可以使用。您可以通过启动Google AI Studio来尝试模型来开始体验。阅读开发人员文档以进行api https://ai.google.dev/gemini-paci/docs/robotics--概述？utm_source = gemini-cobotics-er-1.5 https://github.com/google-gemini/cookbook/blob/main/main/quickstarts/gemini-robotics-er.ipynb?utm_source=gemini-obotics-er-1.5 https://storage.googleapis.com/deepmind-media/gemini-bobotics/gemini-bobotics-1-5-pch-pdf.pdf此模型设计用于对机器人极具挑战性的活动。想象对机器人说“请将这些物品分类为适当的厨房废物，可以是可回收和普通废物。”为了完成这项工作，Kairobot的语言：1。在线搜索本地垃圾指南。 2。了解您面前的不同项目。 3。根据当地政策计划分类方法。 4。执行所有步骤以完成交付。像这样的日子活动需要以许多步骤结合上下文信息来完成。 Gemini Robotics-ER 1.5是针对此体现推理优化的第一个思维模型。它在学术和内部基准基准上达到了行业的领先水平。 Gemini Robotics-ER 1.5的新功能是什么？ Gemini Robotics-ER 1.5专门针对机器人应用，并引入了一些新功能：快速，强大的空间推理：实现高潜伏期的高潜伏期，双子双子座闪光模型。该模型在语义上很棒timbang的Atuwiran sa laki ng物体，Pagkakaroon ng Pagganap，pagsuporta sa mga tagubilin tulad ng“ pagturo” Ahente：Ang pag-agaw ng mga在临时na pag-iintindi，matagumpay na pagpaplano na pagpaplano na pagtuklas ng mga aking desisyon ayon sa上的pagpaplano na空间，我的决定是根据我的决定，根据我的决定，这是根据我的决定。图片”）。它还允许本机Google搜索呼叫和任何自定义的第三方功能（例如，“根据本地规定的垃圾序列”）来考虑预算：开发人员可以直接控制延迟和模型准确性之间的权衡。计划多个步骤组件的台阶组装组件，您可以让模型更长的型号或需要诸如fill fors的活动：您可能需要的范围;您可能需要的范围；NHASE语义安全性可以更好地识别和拒绝违反物理障碍的程序（例如，超出机器人的货物能力），这使开发人员能够使用智能的大脑开发智能大脑，而不是您能够发现的贪婪的大脑更多，而您可以发现越来越多的智慧大脑，而贪婪的大脑远不如更多地发现贪婪的大脑。将Gemini Robotics-ER 1.5视为机器人的先进大脑。它可以理解自然语言的复杂说明，原因是长期活动以及协调复杂的行为。当诸如“清洁桌清洁”之类的复杂请求时，Gemini Robotics-ER 1.5可以将其分解为计划并调用正确的工具，无论是机器人的硬件API，专用的爬网模型还是视觉语言 - 行为模型（VLA）进行动作控制。对与物理世界互动的空间的深入了解，机器人必须看到并理解它们所处的环境。双子座机器人技术 - ER 1.5专注于产生高质量的空间结果，为事物提供准确的2D坐标点。就方向的准确性而言，Gemini Robotics-ER 1.5是目前最准确的视觉语言模型。例如，在2D坐标点生成的工作中，鉴于厨房场景的图片，该模型可以提供每个项目的位置。提示：指出图片中的以下物品：液体洗涤，洗碗架，水龙头，米饭，独角兽。坐标点格式为[y，x]，数量已归一化为0-1000。图片中仅包括实际存在的项目。值得注意的是，提示需要模型仅标记图中出现的项目，这些项目可以阻止模型的幻觉（例如开发不存在的“ Unicorn”的坐标），使其始终基于真实空间的视觉现实能力，不仅是找到事物的，而且还要理解关系下注。we绕事物和行为。 Gemini Robotics-er 1.5通过处理视频来了解物理世界的原因。例如，在视频中，机器人手臂首先在木质托盘上放了一个绿色标记，然后在笔架上放了蓝色和红色笔。当我们要求模型在遵循-next时描述任务中的步骤时，它为答案提供了确切的正确提示：描述完成任务详细信息的每个步骤。时间戳衰减，以JSON格式输出，包括“ start_timestamp”，“ end_timestamp”和“ Defictions”键。响应：[{“ start_timestamp”：“ 00：02”，“ end_timestamp”：“ 00：13”，“描述”：“左机器人手臂从桌子上选择绿色标记，并将其放在木质托盘上。” }，{“ start_timestamp”：“ 00：15”，“ end_timestamp”：“ 00：22”，“描述”：“左机器人手臂从桌子上选择蓝色标记，然后将其放在黑色网状笔持有器中。并将其放入带有持有人的黑色网状笔中，该笔记本完成了编写写作工具的任务。需要在需要时进行特定小时的第二到第二分解（例如15至22秒），并且在时间上的输出非常准确。基于操作功能，该模型可以理解复杂的指向和绑定框查询时，在大脑启用时。我应该把杯子放咖啡吗？完成咖啡活动（例如对象检测），少量预算可以实现高性能。 https://developers.googoglog.com/en/building-the-he-next-generation-gent--gentsical-gents-with-gemini-robotics-er-15/
特别声明：上面的内容（包括照片或视频（如果有））已由“ NetEase”自助媒体平台的用户上传和发布。该平台仅提供信息存储服务。
注意：上面的内容（包括照片和视频（如果有））已上传datnai-启用netASE hao用户，这是一个社交媒体平台，仅提供Information存储服务。