大模型和深度学习的硬件设计：NVIDIA首席科学家Bill Dally精彩讲座

文：城主【声明：转载本文的公号请在文章开头添加本公众号入口，及原文链接】这是非常难得的全面探讨大模型训练所依赖硬件的设计发展的讲座。作为NVIDIA高级副总裁和首席科学家，Bill Dally对当下GPT等AI大模型依赖的硬件基础给出了深入而精彩的讲解。（部分内容可能相对较深，但有理工科基础的同学能全文看懂。）惯例有B站传送门：【“深度学习硬件”NVIDIA首席科学家Bill Dally精彩讲座-哔哩哔哩】 https://b23.tv/Cs33aSC-以下是根据讲座原意重写的天空之城文字版-欢迎大家参加Hotships 2023的主题演讲二，本次演讲的主题是深度学习硬件。我们有幸邀请到比尔，一位在整个技术堆栈中都有所涉猎的杰出研究科学家。他在并行计算、架构、网络、互连以及路由等领域做出了开创性的贡献。比尔获得了计算机架构领域内几乎所有可能的奖项，包括莫里斯· ………………………………