专栏名称: 36氪
36氪是中国领先的新商业媒体,提供最新锐最具深度的商业报道。我们强调趋势与价值,我们的slogan是:让一部分人先看到未来。
TodayRss-海外RSS稳定源
目录
今天看啥  ›  专栏  ›  36氪

「后摩智能」倪晓林:未来十年是属于大模型的时代,NPU会重塑所有端边场景丨WISE2024 商业之王...

36氪  · 公众号  · 科技媒体  · 2024-12-03 08:04
    

主要观点总结

文章描述了AI大模型时代中NPU在端边设备中的重要作用。后摩智能副总裁倪晓林分享了AI和NPU的无限可能与深远影响,强调端边侧AI算力需求的变化以及NPU的优势。后摩智能采用存算一体的全新架构,为边端设备部署大模型提供了高效解决方案。

关键观点总结

关键观点1: AI大模型时代与NPU的重要性

未来10年,AI大模型时代将重塑所有端边场景,NPU将在其中发挥重要作用。AI在云端和端边侧同时高速发展,而NPU更适合端边侧的使用。

关键观点2: 端边侧AI模型的特点与优势

端边侧模型具有个性化更懂你、低时延实时性、数据隐私等优点。它们更适合进入千行百业,解决各类实际问题。

关键观点3: 端边侧硬件要求与NPU的优势

端侧硬件要求包括高算力、高带宽、高精度、低功耗、低延时、低成本。NPU更适合这些要求,具有更高的能效比和算力密度。

关键观点4: 后摩智能的存算一体架构

后摩智能采用存算一体的全新架构,实现了存储单元和计算单元的高度集成,具有更低的功耗和更高的带宽。该架构已经应用于其自研的芯片中,展现出巨大优势。

关键观点5: AI设备方案商及生产商的机遇

为了方便AI设备方案商及生产商快速部署,后摩智能提供芯片及多种标准化产品形态。现有终端设备上可通过标准接口加装NPU,实现本地AI大模型的流畅运行,这将促进各种智能设备的升级和发展。


免责声明:本文内容摘要由平台算法生成,仅为信息导航参考,不代表原文立场或观点。 原文内容版权归原作者所有,如您为原作者并希望删除该摘要或链接,请通过 【版权申诉通道】联系我们处理。

原文地址: 访问原文地址
总结与预览地址:访问文章预览/总结
文章地址: 访问文章快照