树莓派上流畅运行大模型！让终端具备自主学习与记忆能力｜对话RockAI CEO刘凡平

主要观点总结

量子位智库进行了与大模型创新架构系列对话之RockAI CEO刘凡平的访谈，主要围绕RockAI的非Transformer架构大模型技术展开。刘凡平详细介绍了RockAI的创立背景、技术发展历程、非Transformer架构的核心技术MCSD和类脑激活机制、群体智能的发展理念以及训练推理同步的挑战等。

关键观点总结

关键观点1: RockAI的创立与非Transformer架构选择

RockAI成立时间早，多年研究Attention机制并认识到Transformer存在的问题，因此选择非Transformer路线。

关键观点2: 非Transformer架构的核心技术MCSD

MCSD降低了时间复杂度，实现了推理速度的提升。

关键观点3: 类脑激活机制

类脑激活机制是RockAI的创新技术，根据需求临时组建神经网络，解决了传统Transformer架构的问题。

关键观点4: 群体智能的发展理念

刘凡平描绘了群体智能的未来场景，强调了自主学习和记忆能力的重要性，以及不同设备间的协同学习挑战。

关键观点5: 训练推理同步的挑战

刘凡平认为训练推理同步是未来的方向，但目前还没有公司真正做这方面的工作。

关键观点6: 端侧和云侧模型的关系

刘凡平认为端侧和云侧模型将长期共存，但云端大市场会被收窄。

关键观点7: 未来AI发展的关键拐点

刘凡平认为未来AI发展的关键拐点包括基础算法和架构的改变、端侧AI的普及以及群体智能的实现。