Blend Is All You Need：万亿参数LLM更便宜、更好的替代方法

24年1月剑桥大学论文“Blending Is All You Need: Cheaper, Better Alternative to Trillion-Parameters LLM”。在聊天AI研究中，有一个明显的趋势是开发具有更多参数的模型，例如 ChatGPT 等模型。虽然这些扩展模型往往会产生越来越好的聊天响应，但它们需要大量的计算资源和内存。本研究探讨了一个相关问题：相对于单个大模型，较小模型的组合能否协同实现可比或增强的性能？引入一种混合的方法，这是一种集成多个聊天AI的简单而有效的方法。经验证据表明，当特定的较小模型协同混合时，它们有可能超越或匹配更大模型的能力。例如，仅集成三个中等大小的模型（6B/13B 参数）就可以与 ChatGPT（175B+ 参数）等更大的模型相媲美甚至超越其性能指标。该假设使用 A/B 测试方法在 Chai 研究平台上经过了 30 天的严格测试，并拥有大量用户。研究结果强调混合策略作为一 ………………………………