北大王选所：让多模态大模型更懂人类在做什么｜ECCV 2024

主要观点总结

北京大学王选计算机研究所提出了多模态提示学习（CMMP）方法，该方法能更准确地理解场景中的任务关系，特别是针对未见的人物交互类型。通过视觉空间线索和条件提示学习，CMMP方法解决了多模态大模型在识别未见人物交互类型时的平衡问题，大幅提升了性能。相关研究来自北大王选计算机技术研究所，相关论文已被ECCV 2024接收。

关键观点总结

关键观点1: 多模态提示学习（CMMP）方法的提出和应用

CMMP方法利用提示词工程技术教会多模态大模型理解区域级的人物交互关系，解决了模型在识别未见人物交互类型时的平衡问题。

关键观点2: CMMP方法的特点和优势

CMMP方法通过使用视觉空间线索和条件提示学习，提高了模型的性能，特别是在未见类别上的表现。它提供了一种新的范式，可以微调多模态大模型，使其具备泛化的区域级人物交互关系检测能力。

关键观点3: 相关研究的重要性和影响

相关研究来自北大王选计算机技术研究所，相关论文已被ECCV 2024接收。此外，提出的CMMP方法为零样本人物交互检测提供了新的框架，并在实验上取得了显著成果。