看啥推荐读物
专栏名称: 天天IC
集微网集成电路产业新闻,重大新闻即时发布,天天 IC,天天集微网,积微成著!
今天看啥  ›  专栏  ›  天天IC

助力多模态大模型端侧部署,这家企业吹响人才“集结令”

天天IC  · 公众号  ·  · 2024-04-23 16:57
‍‍集微网·爱集微APP,各大主流应用商店均可下载集微网报道(文/陈炳欣)在智能手机中集成AI功能已经不是什么新鲜事。从2017年起,AI便开始用于图像降噪、帧率优化、画质增强等场景当中。然而,这些早期应用所涉及的模型参数量通常不超过1000万,与当前讨论的端侧大模型相比,规模相差悬殊。如今,用于端侧的大模型参数量通常达到70亿。考虑到未来手机用户对多模态(文本、图像、视频等)处理的需求,动辄数百亿参数以上的模型恐怕才能提供相对满意的用户体验。而端侧设备要想运行如此大规模的模型,对于AI芯片的算力、带宽、成本、功耗等诸多方面都将提出更加严苛的需求。大模型强化端侧部署,存内计算发挥关键作用存内计算是一种将计算单元嵌入到内存中的计算范式,旨在解决传统冯·诺依曼架构中的“内存墙”和“功耗墙” ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照