主要观点总结
Celestial AI公司采用了热稳定的光学调制器芯片,消除了对数字信号处理器的需求,实现了高信噪比和低比特错误率。其光互联模块拥有高容量内存和极高带宽,延迟极低。相较于传统AI服务器,该方案提供了更高的可用内存,有助于降低AI成本,处理大模型,支持长上下文,加速多模态,并减轻能源需求。
关键观点总结
关键观点1: 光学调制器芯片的特点和优势
采用热稳定设计,高信噪比,低比特错误率,无需数字信号处理器。
关键观点2: 光互联模块的性能参数
拥有2.07TB内存容量,7.2Tbps带宽,延迟仅100纳秒。
关键观点3: 与传统AI服务器的对比和优势
提供的可用内存更高,有助于降低AI成本,处理大模型,支持更多功能,能效更高。
关键观点4: 方案的应用领域和未来趋势
适用于推理、AI、物联网、芯片等领域,有助于简化软件堆栈,进入万物存储、智能、互联信息革命新时代。
文章预览
点击蓝字 关注我们 Celestial AI公司在其芯片中采用了一种热稳定的光学调制器,功耗数百瓦。这种设计消除了对数字信号处理器(DSP)的需求,因为其具有高信噪比(SNR)、低比特错误率(BER),光学元件实现了电子元件的优势。 来源:Celestial AI Celestial的光互联模块(Photonic Fabric Module)拥有2.07TB的内存容量,并且提供7.2Tbps的带宽,延迟仅为100纳秒。该公司的设备包含916个模块,能够支持高达115Tbps的网络交换,为后端/扩展AI提供33Tb的内存容量。 在光纤的另一端,是一个光学芯片,其提供的带宽是CPO(Chiplet Process Optical)芯片的3.6倍。它比HBM堆叠所需的空间更少。 一个连接到光互联设备的16-XPU系统能够处理具有10T参数的模型! 来源:Celestial AI 对于推理而言,一个传统的AI服务器,配备3TB的HBM,只会有大约1.2Tb的可用内存。而这个方案的16-XPU系统
………………………………