SayCan：将语言落地于机器人Affordance

主要观点总结

该文章主要介绍了来自谷歌和Everyday Robots的论文“Do As I Can, Not As I Say: Grounding Language in Robotic Affordances”，讨论了如何利用大语言模型（LLM）和具身智体（例如机器人）之间的交互来执行复杂的任务。文章阐述了如何将低级技能与大语言模型相结合，通过预训练技能提供现实世界落地，将高级指令分解为适合机器人执行的低级指令序列。文章还介绍了使用价值函数（affordance函数）为大语言模型奠定基础的方法，并解释了如何通过可视化的方式展示机器人的决策过程。最后，文章描述了实验环境和实验过程，包括在办公室厨房环境中使用移动机械手进行物体操纵和导航技能的评估。

关键观点总结

关键观点1: 大语言模型与机器人交互的重要性

通过将大语言模型与具身智体（如机器人）相结合，可以实现复杂的任务执行。大语言模型提供高级语义知识，而机器人则作为“手和眼睛”执行具体任务。

关键观点2: 价值函数（affordance函数）的作用

价值函数（affordance函数）用于为大语言模型奠定基础，提供特定技能在当前状态下能够成功执行的似然性。它帮助机器人理解任务的落地性，并将高级指令分解为可执行的低级技能序列。

关键观点3: 实验环境与过程

实验在办公室厨房环境中进行，使用移动机械手和一组物体操纵和导航技能评估方法。通过模拟和真实环境测试，验证了所提出方法的有效性。实验还介绍了技能获取、价值函数训练、策略网络构建等方面的细节。