华泰 | DeepSeek NSA：算法创新或加速训练与CUDA解耦

主要观点总结

本文介绍了DeepSeek发布的论文NSA（原生稀疏注意力），该论文在Transformer架构的Attention环节进行了优化，提高了效率和速度。文章还讨论了国内外在大模型迭代思路上的差异，以及软硬件优化在LLM中的作用。最后，提醒了AI技术迭代和商业化落地的风险。

关键观点总结

关键观点1: DeepSeek发布论文NSA，优化Transformer架构的Attention环节。

NSA通过稀疏KV的方式提升效率，实现了6-12x的速度提升。

关键观点2: 国内外在大模型迭代思路上存在差异。

海外追求Top 1的极致模型性能，以充足的算力优势为主；国内则在算法和硬件上极致优化，以有限的算力追求更高的性能。

关键观点3: NSA在算法和硬件上的优化。

NSA不仅优化软件算法，还优化了硬件Kernel，以实现更高效的软硬件编排。按照分组注意力GQA进行Kernel的优化，并结合DeepSeek-V3进行硬件优化。

关键观点4: DeepSeek NSA与CUDA解耦的趋势。

DeepSeek在V3中使用了PTX来优化硬件算法，而NSA则使用Triton编程语言高效编写GPU代码。这显示出DeepSeek NSA有初步与CUDA解耦的趋势，为后续适配更多类型的算力芯片奠定基础。

关键观点5: 风险提示。

需要注意AI技术迭代和商业化落地的风险。如果AI技术迭代不及预期，AI应用功能进展和商业化节奏可能会受到影响。