感谢IT之家网友 咩咩洋 的线索投递!

DeepMind 团队已经发表了最新的研究论文,利用 Gemini 1.5 Pro 的上下文窗口(达到 200 万个词元),让用户可以更轻松地使用自然语言指令与 RT-2 机器人互动。
IT之家注:上下文窗口(context window)是指语言模型在进行预测或生成文本时,所考虑的前一个词元(token)或文本片段的大小范围。
其工作原理是拍摄指定区域(如家庭或办公空间)的视频导览,研究人员使用 Gemini 1.5 Pro 让机器人“观看”视频以了解环境;然后,机器人可以根据观察到的情况,通过语言和 / 或图像输出来执行命令。
例如用户向机器人展示一部手机,并询问“在哪里可以充电?”,机器人会引导用户找到室内的电源插座。
DeepMind 称,在一个 9000 平方英尺(IT之家备注:约 836.13 平方米)的操作区内,机器人在升级 Gemini 之后,测试发出 50 多条用户指令,成功率高达 90%。
研究人员还发现 “初步证据” 表明,Gemini 1.5 Pro 能让机器人计划如何完成导航以外的指令。
例如,当一位桌上摆放着许多可乐罐的用户询问机器人是否有他们最喜欢的饮料时,Gemini “知道机器人应该导航到冰箱,检查是否有可乐,然后返回用户处报告结果”。DeepMind 表示计划进一步研究这些结果。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
未经允许不得转载:新聚网 » 如虎添翼,谷歌探索 AI + 机器人未来:836 平方米复杂场景下指令成功率高达 90%

新聚网
哈佛大学开源 AI 训练数据集“Institutional Books 1.0”,涵盖馆藏 98.3 万本图书
Android XR 智能眼镜 XREAL Project Aura 重要参数公布:双芯驱动,70+° FoV
全球首个儿科大模型在北京荣华医院落地,诊断准确率优于主治医师平均水平
小米米家前开盖旅行箱 18 英寸开启众筹,369 元
共建韩国最大 AI 数据中心、容纳 6 万个 GPU,亚马逊 AWS 与 SK 集团合作
OpenAI Codex 人工智能编程工具推出新功能:可一次生成多个方案
性能提升 90%,Anthropic 首次公开多智能体系统构建全流程





