主要观点总结
本文介绍了字节跳动算法工程师团队联合华中科技大学打造的WildDoc数据集，旨在解决文档理解领域的多模态大模型（MLLMs）在真实场景下的鲁棒性问题。WildDoc数据集包含超过12,000张手动拍摄的图片，覆盖了真实世界中的多种影响因素，为模型评估提供了更贴近实际的基准。实验发现主流MLLMs在WildDoc上的性能显著下降，揭示了现有模型在真实场景文档理解的性能瓶颈。文章还提出了改进策略，为未来的研究指明了方向。
关键观点总结
关键观点1: WildDoc数据集的创建背景和目的
为了解决文档理解领域多模态大模型在真实场景下的鲁棒性问题，字节跳动算法工程师团队联合华中科技大学创建了WildDoc数据集。该数据集旨在模拟真实环境中的复杂挑战，评估模型的鲁棒性。
关键观点2: WildDoc数据集的特点
WildDoc数据集包含超过12,000张手动拍摄的真实文档图像，覆盖了环境、光照、视角、扭曲和拍摄效果等多个影响因素。数据集通过一致性评估指标来量化模型在跨场景下的鲁棒性。
关键观点3: 实验发现和性能分析
实验发现主流的多模态大模型在WildDoc数据集上的性能显著下降，与传统文档基准测试相比，模型在实际环境中的表现存疑。物理扭曲是最具挑战性的因素之一，非正面视角和图像质量也对模型性能产生影响。实验结果揭示了现有模型在真实场景文档理解的性能瓶颈。
关键观点4: 研究团队提出的改进策略
为了克服这些挑战，研究团队提出了数据增强、鲁棒特征学习和真实数据引入等改进策略。这些策略旨在提高模型的适应能力、提取对真实世界变化不敏感的特征，并提升模型的性能。
文章预览
本文的共同第一作者为字节跳动算法工程师王安澜和廖蕾，本文的通讯作者为字节跳动算法工程师唐景群。 在文档理解领域，多模态大模型（MLLMs）正以惊人的速度进化。从基础文档图像识别到复杂文档理解，它们在扫描或数字文档基准测试（如 DocVQA、ChartQA）中表现出色，这似乎表明 MLLMs 已很好地解决了文档理解问题。然而， 现有的文档理解基准存在两大核心缺陷 ： 脱离真实场景 ：现实中文档多为手机 / 相机拍摄的纸质文件或屏幕截图，面临光照不均、物理扭曲（褶皱 / 弯曲）、拍摄视角多变、模糊 / 阴影、对焦不准等复杂干扰； 无法评估鲁棒性 ：现有基准未模拟真实环境的复杂性和多样性，导致模型在实际应用中表现存疑； 这些缺陷引出了一个关键疑问： 当前 MLLMs 模型距离在自然环境中实现全面且鲁棒的文档理解能力到底还有多远？
………………………………
