智能学术沙龙（三十二） | 大模型端侧部署技术及应用

文章预览

为推动学术交流 ，激发创新思维， 智能学术沙龙第 三十二 期于 2024年1 2 月 1 2日在昌平校园教二108成功举办。本次讲座邀请到了 清华大学信息国家研究中心助理研究员赵鑫 作为主讲嘉宾，为我们分享了主题为 “ 大模型端侧部署技术及应用 ”的学术报告。同学们积极参与并深受启发，收获颇丰。 赵鑫老师首先阐述了深度学习模型结构复杂性与人工智能技术发展程度的正相关关系，并指出了效率和成本问题对AI大规模落地应用的制约。他围绕高效模型结构设计、模型压缩加速和高效下游任务迁移三个主要技术点，详细介绍了所在实验室在大模型端侧部署技术领域的研究基础和实际应用情况。 在高效模型结构设计方面，赵鑫老师介绍了结构参数化的方法，通过并行多个分支卷积训练和单个分支卷积推理，实现了大模型等效于小模型的效果。代表性 ………………………………