智能投顾的大模型应用，为什么选择了“大小模型协同”？

主要观点总结

本文是关于北银金科高级算法专家尹辰轩对金融行业大模型落地的挑战及解决方案的采访。尹辰轩阐述了面对金融行业高合规门槛和技术挑战，北银金科采用“大小模型协同”架构思路的实践和优势。同时，他详细解释了该架构如何实现，以及大模型在金融场景中的应用和挑战的解决手段。展望未来，尹辰轩认为AI应用架构会趋于“语言理解+工具调用”的组合形态，大小模型协同只是更大趋势的一部分。

关键观点总结

关键观点1: 大模型落地投顾领域的挑战

尹辰轩指出，大模型落地投顾领域的最大挑战在于如何在高合规门槛的投顾业务中避免幻觉和误答。投顾业务的合规门槛高、专业性强，直接应用L0级的大模型存在较大的合规风险。

关键观点2: 大小模型协同的优势

大小模型协同解决路径的优势在于限制了大模型回答的范围，提高大模型在回答深度 / 算力消耗的比率。小模型专精于某个特定用途，反应快、回答稳定，无需大模型再梳理逻辑链进行更深度的思考。

关键观点3: 大模型与基础模型解耦的意义

尹辰轩提到的“大模型与基础模型解耦”，实际上是 Agent 流程编排中每个环节需要的大小模型都是解耦的、可快速替换的。这种架构对于应用稳定性、成长性和私密性都至关重要。

关键观点4: 解决大模型在金融场景中产生幻觉的问题

尹辰轩提到解决大模型在金融场景中产生幻觉的三个手段：在Agent流程搭建中采用大小模型的映射方式、考虑场景分类、在知识库中约束回答范围和内容。

关键观点5: 小模型引擎的扩展性

尹辰轩表示小模型引擎具有可扩展性，这种架构支持投顾以外的金融细分领域，如保险、财富管理。但需要建立小模型的特征向量，以便大模型在任务分配环节能够精准识别调用。

关键观点6: 实际应用及反馈

尹辰轩提到该方案已在公司内部和部分业务场景中落地。在实际应用中，大小模型协同方案在回答深度和合规性上优于单一大模型的回答，且能够随着基础模型的进步不断提高应用的效果。

关键观点7: 对未来AI应用架构的展望

尹辰轩认为未来金融行业的AI应用架构将趋向“语言理解+工具调用”的组合形态，LLM+API将实现大模型进入所有的互联网生态，Agent在整个AI架构的商业实现上会越来越重要。