让机器人更像人类有了新方法！港科大新算法对齐人机动作形态，无需重复训练，轻量模块通用且适配

文章预览

HR-Align团队 投稿 量子位 | 公众号 QbitAI “让机器人看懂世界、听懂指令、动手干活”正从科幻走向现实。 基于大规模人类视频数据进行视觉预训练，是开发真实场景可泛化机器人操作算法的有效途径。 核心在于人类操作与机器人动作序列高度相似，因此从人类视频习得的动态表征可迁移至机器人任务；然而 “从人到机器人” 的迁移面临关键阻碍，即 人 - 机器人数据域间差异 （Human-Robot Domain Discrepancy）。尽管二者执行任务时动作看似相似，但其形态存在根本差异。 这种差异导致了一个重要问题：即便在海量人类数据上预训练了模型，这些模型一旦直接用于机器人任务时，其表现却往往大打折扣，甚至失败。 来自香港科技大学（广州）的团队提出了一个核心问题： 如何减少人-机器人之间的数据域差异影响，使得从人类预训练中获得的视觉模型， ………………………………