南开大学和国科大联合提出DFormer | 全新预训练框架，适用各类RGB-D下游任务

点击下方卡片，关注「集智书童」公众号点击加入👉「集智书童」交流群本文首发于 【集智书童】，白名单账号转载请自觉植入本公众号名片并注明来源，非白名单账号请先申请权限，违者必究。作者提出了DFormer，一个新颖的RGB-D预训练框架，用于学习可迁移的RGB-D表征。DFormer具有两个关键的新创新点：与以往的工作不同，他们没有采用RGB预训练骨干网络来编码RGB-D信息，而是使用了来自ImageNet-1K的图像-深度配对数据来预训练骨干网络，从而使DFormer具备了更好编码RGB-D表征的能力。DFormer包括一系列RGB-D块，这些块经过新颖的构建块设计，专门用于通过新的建筑块设计来编码RGB和深度信息。DFormer避免了使用RGB预训练骨干网络在深度图中不匹配地编码3D几何关系，这是现有方法中普遍存在但尚未解决的问题。作者在预训练的DFormer的尾部加上轻量级解 ………………………………