AI Day直播 | MemoryVLA：助力长时序机器人操作任务

主要观点总结

本文介绍了机器人操作中的时序context重要性以及主流VLA模型的不足。受认知科学启发，提出了MemoryVLA，一个用于长周期机器人操作的认知-记忆-动作（Cognition-Memory-Action）框架。该框架包括工作记忆、海马体系统、感知-认知记忆库和记忆条件化的扩散动作专家等组件，旨在提高机器人在非马尔可夫性任务上的表现。

关键观点总结

关键观点1: 时序context在机器人操作中的重要性

此类任务本质上是非马尔可夫性的，主流的视觉-语言-动作（VLA）模型通常忽略这一点，并在长周期、具有时序依赖性的任务上表现不佳。

关键观点2: 人类工作记忆和海马体系统的启发

认知科学表明，人类依赖工作记忆来缓冲短期存在的表征以进行即时控制，海马体系统则保存过去经验的逐字细节和语义要点以形成长期记忆。受这些机制的启发，文章提出了MemoryVLA框架。

关键观点3: MemoryVLA框架的构成和工作原理

MemoryVLA包括预训练的VLM、感知-认知记忆库、工作记忆和记忆条件化的扩散动作专家等组件。其中，工作记忆从记忆库中检索与决策相关的条目，将其与当前token自适应地融合，并通过合并冗余来更新记忆库。

关键观点4: 论文亮点和额外内容

论文介绍了MemoryVLA在机器人操作中的实际应用和效果，还提到了论文的标题、链接、项目主页以及相关的深度内容、技术细节、QA和未公开彩蛋等额外信息。

免责声明