DeepSeek 突发梁文锋署名新论文：V4 新架构提前曝光？

主要观点总结

本文介绍了DeepSeek发布的Engram技术，这是一种新的“查—算分离”机制，通过引入可扩展的查找记忆结构，提升模型在知识调用、推理、代码、数学等任务上的表现。Engram采用现代化的哈希N-Gram嵌入，将查找时间复杂度降低到O(1)，并且具备条件记忆功能。这种技术解决了传统大语言模型在记忆与计算方面的混合问题，有助于实现模型架构级别的效率提升。

关键观点总结

关键观点1: Engram技术的核心思想及优势

Engram是一种可扩展、可查找的记忆模块，用于语言模型在推理过程中的记忆查找。它通过哈希算法将输入的Token序列映射到巨大的查找表中，实现快速且确定的查找。这种技术将记忆和计算的职责分离，使得模型能够在处理复杂计算的同时高效处理固定模式。

关键观点2: Engram与MoE的关系

Engram与MoE（Mixture of Experts）是互补的关系。MoE负责逻辑复杂的计算，而Engram负责记忆查找。两者结合形成了一个双系统，优化了参数效率。

关键观点3: Engram技术的应用前景

Engram技术的应用前景广阔。它解决了传统大语言模型在记忆和计算方面的混合问题，开启了新的稀疏性方向。许多网友和开发者对Engram技术持乐观态度，认为它可能成为DeepSeek即将发布的V4模型的核心技术基础。