ICRA 2024 | RGBManip：仅基于单目RGB相机的机器人自主环境感知和操纵

导读学界解决机器人操纵任务往往依赖于带有深度信息的环境感知，如使用深度相机捕捉物体的三维坐标。然而，能否仅用一个 RGB 相机让机器人自主感知环境并完成操纵任务？北京大学董豪团队和香港中文大学窦淇团队联合发表在 ICRA 2024 的最新成果 RGBManip 证明了这个命题的可行性。这个问题难在哪？环境感知在几乎所有机器人任务中都是极其重要的一环。机器人需要对环境中的物体、障碍等各项因素有着精确的建模：以抓取一个马克杯为例，除了知道马克杯的位置还不够，要想成功地拿起马克杯，机器人还需要了解把手的朝向。在各项机器人任务中，学界获得这些精确信息的方式主要依赖于深度相机，相比于普通相机，深度相机可以额外获得每个像素到相机的距离，通过投影变换即可得知图片中每个像素点在空间中的三维坐标。而这种三维信 ………………………………