从云到端：离客户更近的端侧AI「涌现」而至

文章预览

AI 发展催生端侧 AI 浪潮，广和通积极布局，推动其在多领域落地应用变革。 AI发展正酣，随着终端芯片算力越来越高、端侧模型能力越来越强、实时响应及隐私保护的端侧应用需求增加，端侧AI已然具备落地的条件。端侧AI离客户和应用场景更近，也是具象化AI的重要方式。可以看到，端侧AI的浪潮“涌现”而至，原有的用户体验和生态格局将迎来革命性重塑。 端侧AI是指在终端设备（如车载智能座舱、智能除草机、机器人等终端场景或设备）上进行人工智能计算和处理，运行端侧模型。相较于云端大模型，端侧大模型在资源有限的设备上高效运行，需进一步对模型进行压缩、推理加速及能耗优化。目前轻量化模型技术包含模型剪枝、知识蒸馏和量化，以上技术往往组合使用，以达到最优的轻量化效果。将大模型部署在端侧设备中，可高效赋能智能 ………………………………