多模态图表理解新 SOTA！TinyChart-3B，兼顾性能和效率

文章预览

前言   中国人民大学与阿里巴巴通义实验室mPLUG团队推出多模态图表理解模型TinyChart，仅通过3B参数达到多模态图表问答的SOTA水平。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源：我爱计算机视觉 仅用于学术分享，若侵权请联系删除 作为一种重要的信息来源，图表（Chart）能够直观地展示数据关系，被广泛地应用于信息传播、商业预测和学术研究中 [1]。随着互联网数据的激增，自动化图表理解受到广泛关注，近期诸如GPT-4V、QwenVL-Max和Gemini-Ultra等通用闭源 多模态大模型 都展现出一定的图表理解能力，开源模型Chartllama [2]、ChartAst [3]等也在图表问题回答、图表总结和图表转换等任务上取得强大的性能。然而，目前开源的图表理解模型有以下三个局限 ………………………………