庞若鸣的“谢幕之作”？苹果发布2025基础模型报告，揭开Apple Intelligence技术全貌

主要观点总结

苹果公司发布了《Apple Intelligence Foundation Language Models Tech Report 2025》技术报告，介绍了其AI基础模型的最新进展。报告详细描述了苹果的双轨并行模型策略、创新架构、服务器端模型的新Transformer架构、多模态能力、训练数据隐私原则、模型优化及性能评估。此外，还推出了基础模型框架，旨在帮助开发者更轻松地集成AI功能。该报告体现了苹果在AI领域的持续努力和负责任AI的原则。

关键观点总结

关键观点1: 双轨并行的模型策略

第一款是专为苹果设备高效运行设计的约30亿参数的端上模型，第二款是在苹果私有云计算上运行的可扩展服务器模型，旨在处理更复杂的用户请求。

关键观点2: 创新架构和Transformer架构

苹果的工程师引入了“键值缓存共享”和“并行轨道混合专家”等创新架构，以提高模型的运行效率和训练推理的效率和效果。

关键观点3: 多模态能力和视觉编码器

报告披露了视觉编码器的技术细节，服务器和端上模型采用了不同的视觉主干网络，端上模型还采用了新颖的“寄存器-窗口”机制，能同时捕捉图像的全局和局部信息。

关键观点4: 训练数据和隐私原则

训练数据主要来自出版商、公开网络信息和高质量合成数据。苹果强调绝不使用用户的私人个人数据，并遵循robots.txt协议，保护内容所有者和用户的隐私。

关键观点5: 模型优化和性能评估

苹果采用了积极的优化策略，如量化感知训练和自适应可扩展纹理压缩等技术，以提高模型在实际设备上的运行效率。在标准测试中，苹果的模型表现优秀。