如何结合多模态RAG和异步调用实现大模型内容理解？

主要观点总结

本文介绍了利用多模态大模型和工程优化手段提升物流理赔业务效率的方案，包括通过多模态RAG技术实现图片查重和结合异步调用方法优化货损识别功能。文章详细描述了项目背景和方案架构、效果测试和架构优化以及最终效果提升。

关键观点总结

关键观点1: 背景介绍和项目目标

物流理赔业务中，客服需要审核客户上传的受损货物图片资料，对受损情况进行判定。整个过程需要人工操作，效率较低。项目目标是通过引入大模型，提高理赔业务的效率。

关键观点2: 技术方案

1. 使用多模态RAG技术实现图片查重功能，通过搭建图片向量库，用embedding模型对历史图片进行向量化，并存储到数据库中。2. 结合异步调用的方法优化货损识别功能，通过多线程并发向大模型请求，每次请求上传单张图片，最后整合结果。3. 引入语言大模型整合货损情况的文字描述。

关键观点3: 效果测试

测试数据显示，图片查重的准确率达到了94%，货损识别的准确率在加入异步调用后有所提升。

关键观点4: 架构优化

通过优化提示词、使用异步调用、引入语言大模型整合结果等方法，提高了识别的准确率和效率，降低了时延。

关键观点5: 最终效果提升

新的架构在识别准确率和效率方面有了显著的提升，查重准确率较高，识别准确率也有所提高，同时平均时延得到了降低。