为什么说多模态是推荐系统破局的关键？来自饿了么一线的实战复盘

主要观点总结

本文介绍了作者在参与饿了么首页店铺推荐场景的多模态推荐系统设计与实现过程中的学习与实践经验。文章从传统推荐算法向多模态推荐的演进、多模态表征技术的核心方法、实践经验总结、前沿探索分享等方面进行了详细阐述。同时，作者还分享了参与生成式推荐技术探索的尝试与思考，指出了生成式推荐技术的重要性及其发展趋势。此外，文章还介绍了多模态推荐系统的架构设计、训练策略、数据构建等关键技术细节，以及在实际业务中的应用效果。

关键观点总结

关键观点1: 多模态推荐系统的演进与挑战

传统推荐系统基于ID特征，难以利用商品图像、文本描述等丰富内容信息。随着深度学习技术的发展，特别是大语言模型和多模态预训练技术的成熟，推荐系统开始从单纯依赖用户行为ID特征转向充分利用商品图像、文本描述等多模态内容信息的新范式。

关键观点2: 多模态表征技术的核心方法

多模态表征技术形成了协同表征和联合表征两大类技术路线。协同表征方法采用独立的编码器分别处理不同模态信息，通过对比学习等方式实现跨模态对齐；联合表征方法使用统一的模型架构同时处理多种模态信息，实现更深层次的跨模态理解。

关键观点3: 生成式推荐技术的前沿探索

大语言模型技术的快速发展为多模态推荐提供了新的技术基础，推荐算法开始从纯ID特征建模转向ID特征与多模态内容特征的深度融合。作者参与了生成式ranking前期技术方案的探索实践，并分享了建模与训练思路。

关键观点4: 多模态推荐系统的实践应用

多模态推荐系统在实际业务中取得了显著的业务提升，包括订单量、访购率和净GMV的提升。同时，作者也指出了生成式推荐技术在实际应用中的挑战，如端到端联合训练的技术瓶颈等。