ICML 2024 Spotlight | 将表格数据中的专家知识迁移到图像中

文章预览

跨越多种数据模态进行知识迁移在机器学习领域受到越来越多的关注。 本文解决了利用具有专家知识的、但获取代价高昂的表格数据来增强基于图像的预测任务，以面对在推理阶段表格数据不可用的情况 。 主要的挑战在于如何准确地将多样化的表格数据映射到图像中，以及如何为数值型和类别型表格属性设计不同策略。 我们提出了基于最优输运的图像通道与表格属性对齐方法 Charms，它在图像通道和表格属性之间建立对齐关系，从而选择与视觉特征相关的表格知识进行迁移。具体而言，Charms 通过跨模态测量相似性分布，有效地区分和迁移相关的表格特征，特别是关注形态学特征，从而增强视觉分类器的能力。通过最大化图像通道和表格特征之间的互信息，数值和类别表格属性中的专家知识能够被提取出来。 实验结果表明，Charms 不仅提高了图像 ………………………………