从 DeepSeek Engram 论文看到的未来方向

基于可扩展查找的条件记忆：大语言模型稀疏性的全新维度

标准 Transformer 缺少原生知识查找原语，导致早期层用注意力/FFN去重建静态模式，浪费深度，这在效率上是极其愚笨的。DeepSeek 提出的 U 型缩放规律（U-shaped Scaling Law）以及 Engram 模块，正是对这一矛盾的一次精彩回应。

这项工作不仅仅是一个架构上的微调，它验证了的一个猜想：真正的智能系统必须是混合的。通过引入**条件记忆（Engram）作为条件计算（MoE）**的互补，可以在不增加稀疏参数预算的情况下，显著提升模型的智商。U 型缩放规律为我们提供了一张导航图，在论文的等参数/等 FLOPs 设定下，最优分配出现在 ρ≈75%–80%（§3.1）；提示混合优于纯 MoE。

目前的 Transformer 架构，尽管强大，但它是极其低效的。为什么？因为它试图用计算来模拟记忆。举例来说：

  • 如果问“广东的省会城市是哪里？”，大脑不应该进行复杂的逻辑推理（比如回忆广东地理、政治历史推演），而是应该直接触发一个静态的记忆“广州”。这就是 O(1) 的检索。
  • 但是，目前的 Transformer、包括 MoE怎么做呢？它们通过数以亿计的参数计算，试图在巨大的权重空间里重构出「广州」这个词。这是在用昂贵的神经计算去模拟廉价的查字典。

DeepSeek 这篇论文的核心就是指出了：模型的总容量（Capacity）不应该每次都通过计算来构成，而应该分出一部分给死记硬背的 Engram。而论文中提出的「U 型缩放规律」，先看公式：

公式是关键：

$$ P_{\text{MoE(sparse)}} = \rho P_{\text{sparse}}, \quad P_{\text{Engram}} = (1 - \rho) P_{\text{sparse}}. \quad (7) $$

纯 MoE 仍是强基线，但混合分配更优；单纯用 Engram 失去条件计算能力，性能明显下滑。显而易见，死记硬背和任何事都都算不符合人类的习惯。什么情况下最好呢？

  • 将未激活参数预算中的约 20%–25%（使 ρ≈75%–80%）划拨给 Engram 时（即 \(\rho \approx 75\%-80\%\)），Loss 达到了最低点。
  • 也就是说：对于静态、局部、刻板模式，查表更高效；复杂推理仍依赖 MoE。二者互补。
  • 将全部稀疏预算投向 MoE，会让模型用计算重构静态模式；混合分配在参数效率与性能上更优。

这个 \(N\)-gram 不是那个 \(N\)-gram

简单说，这里的 \(N\)-gram 并不是简单的“关键词匹配”。而是先用哈希 \(N\)-gram 做静态确定的检索，再用门控 α_t 基于当前隐状态进行上下文感知融合。

$$ \alpha_t = \sigma \left( \frac{\text{RMSNorm}(\mathbf{h}_t)^\top \text{RMSNorm}(\mathbf{k}_t)}{\sqrt{d}} \right). \quad (4) $$
  • 如何区分： 譬如上下文中出现 “小米”，但语境是厨房，而 Engram 检索到了科技公司的向量，当前的隐藏状态 \(\mathbf{h}_t\) 会与检索到的 Key 不匹配，门控值 \(\alpha_t\) 会趋近于 0。
  • 记忆如何起效： 它不是强制覆盖，而是**基于标量门控 + 轻卷积 **。这使得 Engram 能够平滑地融入深度神经网络的梯度流中，而不是像传统外挂知识库那样生硬拼接。

对于应用的启发

首先，商业化落地很重要，这种确定性查找在很多垂直领域简直是业界福音。虽然 Engram 是模型内部的层级架构创新，而非外部挂载的检索工具。但阅读这篇论文时，不自觉就想到，如何才能一个超越传统 RAG（检索增强生成）的垂直领域外脑系统。不仅仅是一个「知识库」，而是能够和垂直领域的内部 AI 应用等协同，让 AI 在垂直领域爆发出更强的能力？

  • 这不仅仅是一个静态地构建 Skills 那样的流程，而是能够动态地获得当前企业内部的知识的过程
  • 尤其是绝大部分企业针对 GPT5/ Gemini3 这样的商业闭源模型，在无法更改模型改权重时，意味着内部插层方案不可行。
  • 虽然闭源商业化模型不可植入层内 Engram。但依然可采用 Sidecar 方式，加上 Engram 做检索/过滤，再将高纯度上下文喂给闭源模型；虽然本质仍是检索增强而非层内 Engram。

论文第 6.4 节和 Table 4 展示了一个令系统工程师兴奋的特性：确定性寻址（Deterministic Addressing）。

确定性寻址
容量大赠、计算几乎不变、延迟几乎不增。

DeepSeek 指明了他们未来进化的方向：Engram 的所有检索索引在前向计算前，索引可在前向前确定并预取。这样系统可以在模型跑前几层时，就在主机内存异步预取下一层将要用到的内存行，并与 GPU 计算重叠。那么就可以把一个大参数表（例如 100B）放到主机内存或更慢介质，也不会明显拖慢吞吐。

这，有可能是一条新的工程扩展轴：容量暴涨、计算几乎不变、延迟几乎不增。

  • 商业模型的特点： MoE 的路由是动态的（Dynamic Routing），必须等上一层的计算结果出来，才知道下一层该激活哪个专家。这意味着无法预取，通信延迟难以掩盖。
  • Engram 的优势： 输入一句话，分词器一旦切分完毕，所有需要查询的 Engram 索引就确定了。
  • 结果： 在 GPU 计算第一层网络的时候，CPU 就可以通过 PCIe 总线把后面层需要的 Engram 向量实施跨层流水线化预取 好了。
  • 数据： 甚至把 1000 亿参数（100B）的表扔在廉价的 CPU 内存里，推理吞吐量的下降也不到 3%。

思路借鉴

那么是否可以学习这种模型训练的方法，把这一套机制搬入到大部分企业的应用中去？

把这套方法融入到构建垂直领域内部大脑，结合外部商业模型的能力，用极低的显存成本，挂载一个海量的外脑？

垂直领域内部大脑
这既是工程现实主义，也是一条通向 Neuro-Symbolic AI的可行路径

DeepSeek 代表的最前沿开源模型，与 GPT5/Gemini3/Claude4.5这样的闭源商业模型，绝大部分垂直领域是没办法再次训练的，顶级模型关注的是如何训练一个更通用更普世的智能模型。但大部分个人、企业更关注的是解决所在这个领域内的最专业事情，尤其是当这个企业还有自己独特的竞争力时，如何能够把这部分竞争力释放为更智能、更高效、更专业的能力？

  • 传统的方案是 RAG，是 密检+重排+裁剪+工具链：只要关键词匹配（Top-k），就把文档塞进 Prompt。这会导致上下文污染。
  • 而 Engram 的核心哲学是 Context-aware Gating（上下文感知门控），这不仅仅是可以用来训练模型，是否还可以垂直领域内部私有化部署为要给更智能的「外脑」方案？
  • 或者利用开源模型（如 Llama-3）植入 Engram 层，将其改造为专用的外脑，处理完记忆检索后再将高纯度上下文输送给 GPT-5？

商业闭源模型 GPT-5/Gemini-3/Claude4.5 是黑盒，无法修改权重。如何规避此限制又能更有效地发挥大模型的威力？或者通过开源前置模型作为中转来解决？更为关键的是如何能够面向垂直领域的外脑系统总体设计与可运行实现，目标是在不修改闭源模型权重的前提下，实现长时记忆与精准召回，并与现有（如 GPT‑5、Gemini‑3‑Pro）模型或未来更智能的大模型无缝协作。

问题的本质和解决方案

基于对全篇论文的深入复盘，DeepSeek 是在告诉大家：让上帝的归上帝（计算归 MoE），让凯撒的归凯撒（记忆归 Engram）。 这是一条通往高效智能的路。是如何能够让大模型更智能，减少计算的浪费的方法。在不改变大模型逻辑思维能力的前提下，给它装上一个巨大的、低能耗的记忆库，是阅读这篇论文后的主要思考方向。

所以在想，对于大多没办法训练模型的公司而言，在一些常见应用中，Chat/问答、合规审阅、SOP 执行助手、应急策划等，完全是将死记硬背的工作剥离出来，让神经网络专注于思考。

把记忆和计算分家

现在的 AI 模型（如 GPT-5 或 QWen）就像一个天才但没有笔记本的学生。每次你问它一个简单的法律条款或固定术语，它都要调动数千亿个神经元，通过复杂的矩阵运算把这个词算出来。 在针对大量垂直领域中的应用时，还容易产生幻觉，毕竟模型再强，也不能解决很多细分领域中的所有事情，更何况还是垂直领域的专业流程、业务经验这类更是头疼，大模型有的更多还是通用知识。

那么 Engram 的外脑思路，不知道是否可以用作当前的一种方法，也就是基于最新的开源模型或者商业闭源模型的外挂插件？许多应用场景中还是有太多问题需要优化、落地。

  • 常见的垂直领域内部场景如法务流程，常常会引用已废止或未生效条款，混用旧司法解释；
  • 或者是物流危险品分类中，常常会仅凭品名猜测危险等级/UN号/包装组，而不是查询 IATA DGR/IMDG Code/ADR 数据库；
  • 还有金融审计中将供应商主数据重复或同名不同实体误合并等等。

在这些常见的应用场景，可以在外挂大脑的基础上结合最新大模型的能力，业务（上帝）专注于自己领域应用，模型（凯撒）专注于逻辑推理、写文章、做决策，依然交给大模型去深思熟虑。通俗来说就是把业务领域的专业知识，通过规范 N-gram 哈希表，结合分层缓存和严格版本化为底座，把当业务应用中已有的数据进行统计，快速注入的方法。从而达到把大模型的脑力解放出来，让它专注于处理复杂逻辑，而那些死的知识点，由外脑瞬间注入。

第一，在形成了这样的外脑知识后，让大脑与外脑的连接。在看到某一个条法务条款时，脑子里已经自动给出了最新的相关条款的影子，不需要等到大脑皮层去处理。针对闭源商业模型：当用户提问时，小秘书先扫描一遍，找出所有的专业术语、法条引用。作为提示词/ Skills 一部分喂给闭源模型。

第二，指挥层 / The Conductor：决定何时查这些数据。如果系统发现当前的上下文非常匹配某个记忆印迹（比如出现了“第 X 条例”的前半句），开关就会打开，然后由模型端到端训练自适应学习/不用手工设置，直接注入记忆。否则，开关关闭，让大模型自己想。

当然肯定有人会问这样的方案不就是传统的 RAG 方案吗？

是，也不是。

本质上来看这就是一个检索获取高纯度知识过滤的过程。但是仔细分析传统的 RAG，就像是开卷考试： 遇到问题，开始翻书（搜索文档），然后抽取某一页书之后摘抄，最后回答。这会打断思维流，而且如果书里废话太多，AI 就会晕。

DeepSeek Engram Demo 如同是内化知识，遇到问题 -> 脑子里直接蹦出概念。

  • Engram 负责处理局部、高频的死知识。
  • RAG 处理长、变、时效与可编辑知识，二者互补。
  • 分工明确：释放了注意力机制，让大模型不用盯着具体的词，而是关注全局逻辑。

回到这篇论文的实验结论：把昂贵的神经计算留给创造性的思考，把廉价的查表用于静态记忆。只是 DeepSeek 关注的是训练超大智能模型，所以这两者必须长在同一个大脑里，协同训练、协同优化。这才是通往高效智能的正确道路。

然而想来读了这篇论文的你我，也随即想到对于企业只有能力使用这些模型时，如何才能也达到类似的效果：在推理/代码/数学能力大幅提升呢？

应用可借鉴的方向思考

毕竟大模型也只有几家有实力的厂商能做，那么在垂直领域的公司呢，还有哪些可学习借鉴的呢？大致的方向如下，分为工程优化和开源模型定制：

第一阶段，标准化：把所在领域的行业文档（法律、医疗、工业手册）拿出来。清洗数据，把所有的大小写、空格统一。通过多头哈希覆盖 + 端到端学习，重点分析易错对象，在模型内增加词表压缩投影，把等价子词映射到规范 ID。

以之前在金融行业中做过的信用审计场景为例，需要把推理和知识检索的双轴拆分为 Engram 做O(1)静态查找，并通过 Tokenizer Compression、后缀 n-gram 哈希、门控融合，以曾经在金融信用审计的高频中文场景为例，信用报告来自不同渠道（工商局、第三方爬虫、用户填单），格式极乱，需要进行：

  • 个人与企业命名、证件与编号、产品与业务术语和时间地址等统一，进行全角/半角、错别字变体、空格/破折、前缀后缀、大小写与中文数字等预处理
  • 对语义不依赖形式的通道执行全套归一化（参考论文中的：NFKC、去重音、lowercase、空白折叠）
  • 构建Tokenizer Compression，形成规范 ID 映射。通过这类词表等价类合并，规范ID减少，论文中提到大约能够带来 23% 压缩量级
  • 后缀 n-gram：局部固定搭配在中文里常以短语收尾决定语义。如“股份 有限 公司”，“到期 还本 付息”，“人民币 元 整”，后缀 n-gram 更易捕捉完成的短语边界。为什么要强调“后缀”？ 因为 LLM 是自回归（Autoregressive）的。在生成或预测的表征时，模型只能看见历史。后缀 N-gram 恰好捕捉了“当前词 + 紧邻的历史上下文”，这直接对应了预测下一个词所需的局部依赖信息。
    • 原理很简单：“小张，你看，当模型读到‘公司’的时候，它不是只查一次字典。它实际上发起了两次以上的并发查询。
    • 2-gram 查询告诉它：‘有限’后面接‘公司’很顺口，这是个语法记忆。
    • 3-gram 查询告诉它：‘(深圳)有限公司’是我们要找的那个实体的尾巴，这是个知识记忆。 Engram 把这两层信息拼在一起喂给模型，所以模型既懂语法，又懂知识。
  • 前几步（归一化、N-gram 哈希）是在构建一个巨大的静态记忆，然后门控融合（Gating Fusion）开始解决静态知识与动态语境的冲突。也就是说把查到的记忆变成有条件地注入
    • DeepSeek Engram Demo代码里用了signed sqrt对 score 做幅度压缩（保持正负号）,稳定梯度、避免 Sigmoid 早饱和。
    • 门控简单理解就是增加确定性，譬如“腾讯”既可能是游戏也可能是支付。
    • 那么门控通过“投影、相似度、标量和卷积“，最终只放行语义一致的记忆。
  • 简单说就是利用当前上下文，对检索结果做逐 token、逐分支的相似度打分，只有在短语凑满且上下文需要时才放行；技术实现上配合多头哈希与轻量卷积，有效压制碰撞与多义噪声。
  • 在金融审计中，这使公司尾缀、业务术语、币种-金额模板、证照格式等高频固定模式，通过以 O(1) 查询方式来注入，避免混淆的同时，能够把深层计算留给跨表、跨期、跨实体的组合推理。

第二阶段（有能力预训练的公司）通过模型定制预训练：采用常规 LM 预训练，同时为 Engram 参数配置独立优化器与更大学习率。

第三阶段，对齐与防幻觉：把这个训练好的外脑接入大模型。

  • 对于开源模型： 冻结大模型的主干，只微调外脑的接口。
  • 对于闭源模型： 调整 Prompt /Skills，强迫大模型优先参考外脑提供的内容。然后优化模板化指令，让模型进行答案校对/工具验证/拒答策略；不依赖不可控的 logit bias。

回到主要关注的点上：Engram 这种不试图让神经网络去死记硬背所有东西，除了能够带来模型训练上的能力提升。在垂直领域中也能够加速应用的落地效果。

这样的几个步骤，是基于这篇论文阅读后的思考，试图尝试引入了条件记忆作为与智能模型的平行的第二条腿，高效地引入垂直领域内的知识作为外挂大脑。理论上：

  • 首先它不侵入大模型的核心逻辑，安全可控。
  • 其次利用了计算机科学中最经典的哈希查表（O(1)），极度高效。
  • 最后通过开元模型的层内注入，或外挂大脑的模式，完美兼容了现在的开源和闭源生态。

那么，如果想在垂直领域（如法律合规、内部审计、物流优化等领域）让 AI 既懂行、又严谨、还大幅提升模型能力，显然也并不是只有针对开源模型再次进行预训练的路是最佳选择（要求太高了）。针对闭源模型仅仅是在原有 RAG 的基础上做出了一些优化罢了。

写在最后

最后不得不提一下，业界的 RAG 搜索，从最初 Contextual Retrieval 逐渐演开始过渡到使用 MemoRAG 轻量但长程的系统生成全局记忆，然后在用户提问时先用记忆生成线索，再用线索去检索证据，最后生成答案，或者是 LightRAG 的主线是图增强索引，把实体和关系抽出来，形成图加向量的混合检索，然后做双层检索。前者对开放式问题更强，而后者对指定内容的检索会更好。

当然更有后者 Agentic Reasoning RAG，不再是一次性 Retrieve 然后 Generate，而是会规划，迭代检索，反思纠错，甚至动态决定要不要换检索策略。

这些业界 SOTA 方案，都在解决一个问题：采用 embedding 相似度，经常丢掉关系结构和全局组织，所以一到复杂问题就容易断章取义，失去业务重要性而导致后续的回答和推理出现严重的幻觉。

笔者始终支持智能的本质，不仅在于推理，也在于高效地调用经验。而这也是垂直领域中的大机会。DeepSeek 的 Engram 本质上是在高维空间中重建了一种类似组织记忆的机制，通过稀疏、确定性的路径快速唤醒记忆，而非每次都激活整个模型运算。

那么，可以借鉴 Engram 的解决方案，尤其是无法重训练模型时，通过工程实践，能在不修改闭源模型（如 GPT-5 / Gemni-3）权重的前提下，构建一个更智能、能力更强的垂直领域级外脑，还能继续享受未来大模型发展的红利。

为什么纯 Embedding 模型（如 Qwen3）会输给 Engram

现在的 Embedding 模型（如 Qwen3）本质上是把万物压缩成向量，这是有损的；而 Engram 是基于 Token 的无损索引，可以很好地结合当前 RAG 方案上再次把效果提升一个量级。

所有的 Embedding 模型试都是在一个 1024 维的向量中进行查询，只要是相似就必然有噪声。而 Engram 是哈希的，它是精确匹配。在法律、代码、工业参数场景，精确性 > 语义模糊性。

RAG 是盲目的。它计算查询与文档的相似度，却不知道模型当前是否真的需要这个知识。DeepSeek 的 Engram 有一个上下文感知门控，只有当当前的业务需求与检索到的记忆的索引在语义上对齐时，门控才会打开。

架构设计方案 LLM Sidecar 模式

Engram 不能解决一切问题，RAG 也不能，两者是互相结合的。

既然没有办法切开闭源商业模型（GPT-5 / Gemini-3）的大脑，那么我们就可以构建也给前置的记忆体。这样既能避免被语义淹没，而 DeepSeek 的论文数据也验证了 死记硬背 的效果更佳。而且还减少了因为 Embedding 带来的 Top-K 检索往往带入不相关的相似文档。而且 Hash Lookup O(1) 的计算成本极低。

这是一条参考 Engram 独立出来作为一个可插拔的、基于哈希的外部记忆模块可行路径，利用一个小型开源模型作为**“LLM 小脑”来控制对这个记忆的访问。把领域知识外置为条件记忆，把推理留给 LLM。

在垂直领域内，这样的升级方案能把检索准确率从够用推到可信，大幅超过单纯利用模型的检索准确率。这既是工程现实主义，也是一条通向真正的**Neuro-Symbolic AI（神经符号人工智能）**的可行路径。

参考文献

  1. Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models — 基于可扩展查找的条件记忆：大语言模型稀疏性的全新维度
  2. DeepSeek Engram Demo - Engram Demo Code 代码思路
  3. Contextual Retrieval - 上下文增强 RAG (Contextual Retrieval) —— 解决断章取义
  4. MemoRAG - 线索去检索证据，最后生成答案
  5. LightRAG - 图加向量的混合检索，然后做双层检索
  6. Agentic Reasoning RAG - 迭代检索，反思纠错