IROS 2025 | 机器人衣物折叠新范式，NUS邵林团队用MetaFold解耦轨迹与动作

主要观点总结

该文章介绍了一个名为MetaFold的机器人框架，用于理解人类语言并执行相应的操作任务，特别是在可变形物体操作，特别是服装折叠任务中的应用。该框架旨在填补现有研究的空白，创建一个既能理解人类语言的丰富内涵和场景的视觉信息，又能精准、泛化地操作多类别衣物的、具有良好解释性的机器人框架。

关键观点总结

关键观点1: 研究背景

随着机器人技术的不断发展，可变形物体的操作成为衡量机器人智能水平的关键指标之一。传统的服装折叠方法依赖于预定义的关键点或演示数据，这限制了它们在不同服装类别间的泛化能力。近年来，基于基础模型的先进技术开始应用于机器人操作任务，但仍然存在挑战。

关键观点2: MetaFold框架的特点

MetaFold框架采用创新的分层架构设计，将复杂的服装折叠任务分解为相对独立的两个子问题：任务规划和动作预测。通过语言引导的点云轨迹生成来处理任务规划，同时使用低级基础模型来进行动作预测。这种分离式设计简化了训练过程，提高了模型在不同服装类别间的泛化能力。

关键观点3: 数据集构建

研究团队构建了一个包含1210个服装和3376条轨迹的大规模数据集，涵盖四种主要的折叠类型。数据集使用ClothesNet提供的服装模型，采用DiffClothAI可微分仿真器生成高质量的点云轨迹数据。

关键观点4: 轨迹生成模型和底层操作策略

轨迹生成模型采用基于注意力机制的跨模态融合模型，提取点云的几何特征和语言指令的语义特征，然后融合这两种模态的信息。底层操作策略采用ManiFoundation模型，将操作任务形式化为接触合成问题。

关键观点5: 实验结果与深度分析

MetaFold在多项指标上显著优于现有方法，包括矩形度、面积比和成功率。实验在Isaac Sim仿真环境中进行，并采用了真实环境验证，证实了框架的实用性和鲁棒性。

免责声明