一次可输入多张图像，还能多轮对话！最新开源数据集，让AI聊天更接近现实

主要观点总结

该文章介绍了MLNLP社区及其愿景，以及关于最新开源的超长多图多轮对话理解数据集MMDU的相关内容。文章详细阐述了MMDU的优势和挑战，包括多轮对话与多图像输入、长上下文以及开放式评估等特点。同时，介绍了MMDU基准测试在构建过程中的方法和流程，以及使用GPT-4o作为评判的评估流程。文章还提到了使用MMDU-45k数据集对LVLMs进行微调后的性能提升，并给出了相关指标和数据。最后介绍了MLNLP社区的相关情况。

关键观点总结

关键观点1: MLNLP社区介绍及愿景

MLNLP社区是国内外知名的机器学习与自然语言处理社区，旨在促进学术界、产业界和广大爱好者之间的交流和进步。

关键观点2: 关于MMDU数据集的特点

MMDU数据集具有多轮对话与多图像输入、长上下文以及开放式评估等特点，能够真实复制现实世界的聊天互动情景。

关键观点3: MMDU数据集的构建方法和流程

MMDU数据集的构建过程中采用了从开源的维基百科中选取图像和文本信息，并通过GPT-4o模型辅助构建问题和答案对的方法。

关键观点4: 使用GPT-4o作为评判的评估流程

为了评估模型的性能，使用了GPT-4o作为评判，根据参考答案给出总体分数，并参考多个维度进行评分。

关键观点5: 使用MMDU-45k数据集微调LVLMs的性能提升

使用MMDU-45k数据集对LVLMs进行微调后，模型在多图多轮问答等任务上的性能得到了显著提升。

免责声明