工业机器人抓取时怎么定位的？用什么传感器来检测？

主要观点总结

文章从机器视觉的角度，对相机标定、平面物体检测、有纹理物体、无纹理物体、深度学习、与任务/运动规划结合等方面进行了深度解析。文章介绍了机器人视觉与计算机视觉的不同，强调了机器视觉的目的是给机器人提供操作物体的信息。同时还介绍了一些相关领域的研究热点和现有技术的局限。

关键观点总结

关键观点1: 机器人视觉与计算机视觉的区别

机器人领域的视觉（Machine Vision）跟计算机领域（Computer Vision）的视觉有所不同，机器视觉的目的是给机器人提供操作物体的信息。

关键观点2: 物体识别在机器视觉中的重要性

物体识别是机器视觉的重要部分，涉及到在图像中检测到物体类型等，与CV的研究有很大一部分交叉。

关键观点3: 相机标定的方法和重要性

相机标定是机器视觉中的一项基础技术，目的是计算物体在相机坐标系下的位姿。包括内参标定和外参标定，对于机器人操作物体至关重要。

关键观点4: 平面物体检测的方法和挑战

平面物体检测是工业流水线上最常见的场景，要求快速、精确、稳定。一般采用边缘提取加边缘匹配或形状匹配的方法。

关键观点5: 有纹理物体的位姿估计

对于有纹理的物体，可以利用SIFT等局部特征点进行位姿估计。SIFT特征点具有尺度、旋转、仿射等不变性，可以用于物体识别和位姿估计。

关键观点6: 无纹理物体的位姿估计

无纹理物体的位姿估计采用模板匹配的方法，利用彩色图像的图像梯度和深度图像的表面法向作为特征进行匹配。还可以使用深度学习进行物体识别，但位姿估计仍采用传统算法。

关键观点7: 深度学习在机器视觉中的应用

深度学习在计算机视觉领域取得了很好的效果，可以应用于机器人视觉中的物体识别。但是，在位姿估计方面，直接应用深度学习的工作并不多。

关键观点8: 机器视觉与任务/运动规划的结合

机器视觉需要与机器人的任务和运动规划相结合，以实现更智能的机器人操作。例如，在取物任务中，机器人需要通过视觉确定物体的位置，并规划如何移动以避开障碍物。

文章预览

从机器视觉的角度，由简入繁从相机标定，平面物体检测、有纹理物体、无纹理物体、深度学习、与任务/运动规划结合等6个方面深度解析文章的标题。 首先，我们要了解，机器人领域的视觉（Machine Vision）跟计算机领域（Computer Vision）的视觉有一些不同：机器视觉的目的是 给机器人提供操作物体的信息 。所以，机器视觉的研究大概有这几块： 1.  物体识别 （Object Recognition）：在图像中检测到物体类型等，这跟 CV 的研究有很大一部分交叉； 2.  位姿估计 （Pose Estimation）：计算出物体在摄像机坐标系下的位置和姿态，对于机器人而言，需要抓取东西，不仅要知道这是什么，也需要知道它具体在哪里； 3.  相机标定 （Camera Calibration）：因为上面做的只是计算了物体在相机坐标系下的坐标，我们还需要确定相机跟机器人的相对位置和姿态，这样才可 ………………………………