Ai2 发布完全开源本地语言模型应用

主要观点总结

Ai2发布iOS应用OLMoE，从模型到应用完全开源。使用本地端侧OLMoE模型，旨在帮助开发人员提高本地模型推理效率。该应用主要面向iphone15 Pro及以上的手机用户，使用Q4_K_M量化模型，在iphone 16 Pro上每秒可输出41个Token。

关键观点总结

关键观点1: 新发布的iOS应用OLMoE

OLMoE是一个完全开源的iOS应用，使用本地端侧OLMoE模型，为开发人员提供探索提高本地模型推理效率的机会。

关键观点2: 模型参数和特点

OLMoE模型具有1B活跃参数和7B总参数。采用Q4_K_M量化模型，在高端设备上表现优秀，如iphone 16 Pro每秒可输出41个Token。

关键观点3: 应用的使用限制

目前该应用仅适用于iphone 15 Pro及以上的手机用户。