ASIC专家交流纪要

主要观点总结

本文介绍了GPU与定制AI ASIC芯片对比、AI加速器发展方向、AI模型性能相关情况、GPU利用率及相关问题、训练与推理相关情况等内容。

关键观点总结

关键观点1: GPU与定制AI ASIC芯片对比

定制AI ASIC芯片更适合AI工作负载，其内存架构能够解决GPU中的挑战，并在通用性和特异性之间取得平衡。

关键观点2: AI加速器发展方向

AI加速器的开发正在超大规模数据中心运营商、无晶圆厂半导体公司和老牌半导体公司三个领域推进，其采用曲线将比GPU快得多。

关键观点3: AI模型性能相关情况

AI模型性能提升正在趋于平稳，出现收益递减的情况，当前追求的关键目标包括提高每秒标记数、减少首个标记的生成时间以及提高基于思维链推理的准确性。

关键观点4: GPU利用率及相关问题

目前GPU的利用率受到内存限制，定制AI加速器能够避开这些限制，例如将RAM置于处理器内部或采用数字内存内计算解决方案。

关键观点5: 训练与推理相关情况

由于训练成本极高，只有超大规模数据中心运营商才有能力专注于训练。未来几年，随着各方关注可部署性和营收机会，推理的采用率将会提高。