判据比结论长寿

三轮讨论把两段公开访谈接成了一个框架：杨植麟谈"摆脱雕花"（谷歌时期学到的思维方式），梁文锋 2026-07 闭门会把"持续学习"定为 Agent 之后的下一个瓶颈。中间经过数据墙、数据标注的本质、2026 年中持续学习的路线地图，最后落到 DeepSeek 的 Engram 论文。

一、判据比结论长寿

杨植麟的原话是"scaling law 是第一性原理"，这里有个概念滑动值得掰开：

• Scaling law 是经验幂律，不是第一性原理——它是拟合出来的，而且确实弯了（预训练撞数据墙，行业转向 test-time compute）。
• 真正配得上第一性原理的是更底层的：算力成本指数下降是长期最确定的趋势，能搭上这条曲线的通用结构终将胜出（Sutton, Bitter Lesson）。
• 但杨给的元判据活了下来："找一个通用（能建模所有问题）且可扩展（算力投入持续变好）的结构"。这个筛选器筛出了下一条轴（RL + test-time compute），还会继续筛下一条。
• 判据比结论长寿，这才是第一性原理思维的标志。

二、"雕花"的正确判别方式

• 雕花的本质错误不是"关注细节"，而是在错误的层级上优化——在一条即将被证明是死路的路线上优化刹车技巧。
• 真判据不是"细节 vs 大方向"，而是：这项工作会随规模复利，还是被规模冲刷掉？ FlashAttention、MLA、FP8 极度细节，但都是 scale-enabler，不是雕花。
• 两个警惕： 1. 事后性：2019 年赌 scale 的人和赌架构的人看起来一样在赌，引用成功者有幸存者偏差。 2. 层级相对性：架构搜索从"本质"沦为雕花，数据清洗从脏活升为核心壁垒——瓶颈迁移会重新定义什么是雕花，所以"别雕花"要求持续回答"当前 binding constraint 是什么"。
• 资源约束反转行动指令："能用规模解决就别用新算法"隐含前提是买得起规模。对 GPU-poor 的团队，算法效率就是唯一的规模杠杆（DeepSeek 全部工作的签名）。同一个原理在不同约束下推出相反策略。

三、数据标注的本质：信号搬运，不是分类

标注的核心是把"什么是对的"这个信号从它的源头搬运给模型。信号源只有三个：存量人类文本、人类实时判断、现实世界的验证器。

• 数据墙的实质 = 源头一挖完了（高质量文本 ~10^13–14 token 量级）。
• AI 能不能代标，切法不是任务难度而是信号住在哪：
• 住在验证器里（数学/代码/游戏）→ AI 完全接管，甚至不需要"标注"环节，这就是 RL+可验证奖励绕开数据墙的原理。
• 住在模型能力边界内 → LLM-as-judge 可代劳，但有三个系统坑：自我偏好、代理指标劫持（reward hacking）、多轮自标注的分布坍缩。人类做锚。
• 住在人类或现实世界里 → AI 原则上标不了：①边界之上的专家知识（信息论约束：自标注无法注入模型没有的信息→标注业转向 $100+/hr 请 PhD）；②人类偏好本身（ground truth 定义在人脑里，且会漂移）；③新任务的第一批示范（冷启动）；④物理世界 ground truth（人是世界的传感器）。第五类是规范性的：有争议的判断，标注即立法。
• 人在标注栈里持续上移：标样本 → 排偏好 → 写 rubric/宪法 → 抽查审计。
• 行业应对数据墙不是"用 AI 更快标注"（在挖空的矿里提高选矿效率），而是换信号源：专家边界数据 + 建 RL 环境（搭 gym 是新时代的标注）。

四、持续学习：源头三的流式化

梁文锋的 AGI 台阶图：语言模型 → CoT → Agent → 持续学习 → 自我迭代奇点 → 具身智能。持续学习放在奇点前一格是自洽的——自我改进的前提是能从自己的实验结果中学习，遗忘症系统无法复利；AGI 时间表的不确定性几乎全部压缩在这一格。

• 用三源头框架看：持续学习 = 把源头三从批式改成流式。部署产生的经验流是目前最大的未开发信号源，现在全被扔掉（权重冻结，context window 是没有固化机制的工作记忆）。
• 若成立，scaling 变量从"算力×数据"变成"部署量×经验通量"——预训练时代利好资本，test-time compute 时代利好算法+验证器，持续学习时代利好分发（谁的 agent 嵌在真实工作流里，谁独占经验流，且有排他性）。DeepSeek 现阶段押 Coding Agent 与此一致：代码是经验流质量最高的场景，先占位置等固化机制成熟。
• 三个卡点： 1. 灾难性遗忘——四十年老问题，前两条轴是"已知结构+更多算力"，这条轴没有已知结构。 2. 信号质量——经验流没有验证器护栏，在线学习把 LLM-judge 的三个坑全部放大成永久在线风险。 3. 谁的经验写进谁的权重——一套权重服务几亿人；人类没这个问题因为每人自带独立权重。暗示解天然分层：个体层（agent 记住你的工作流）+ 物种层（模型本体定期消化全体经验）。

五、2026 年中路线地图

没有"Transformer 时刻"，但从愿景期进入工程期（标志：CL-Bench 出现，第一个专家级基准）。四条路线：

1. 改架构（权重内、推理时更新）：TTT(2407.04620) → Titans(2501.00663) → Nested Learning/Hope（NeurIPS 2025，把架构和优化器统一为不同更新频率的嵌套优化，遗忘=频率谱不够宽）。已出现严肃拆解（Titans Revisited 2510.09551；"TTT-KV 数学上≈线性注意力" 2602.21204）——雕花判别机制在运转，未在前沿规模验证。
2. 自我微调：SEAL(2506.10943)，模型自生成训练数据+自己微调自己，遗忘未解、成本高。
3. 睡眠固化（2026 上半年真正升温）：清醒用上下文，空闲离线把经验蒸馏进权重（海马体→皮层）。Language Models Need Sleep(2606.03979)、Sleep-Like Memory Consolidation(2605.26099)。个人最看好：天然分层，固化前可验证清洗，同时绕开卡点 2 和 3。
4. 权重外记忆（唯一已部署）：MemGPT/Letta、Mem0、技能库、ChatGPT/Claude memory。研究在赌权重内，产品全在权重外——这个分裂本身就是信息：权重内离生产可用还有距离。

张力：按 bitter lesson，权重外脚手架是待冲刷的雕花；但人脑也没把所有经验写进突触——也许"记忆分层结构"本身才是那个通用且可扩展的结构，权重内固化只是其中一层。

六、Engram：记忆和推理在架构上分家

DeepSeek《Conditional Memory via Scalable Lookup》(arXiv 2601.07372, 2026-01，梁文锋挂名，github.com/deepseek-ai/Engram)：

• 机制：N-gram 确定性哈希寻址，O(1) 查静态嵌入表，记忆向量与隐藏状态融合。MoE = 条件计算，Engram = 条件记忆，第二根稀疏轴；固定参数预算下两者配比存在 U 型 scaling law。
• 27B 上全面小胜 MoE 基线；浅层从"重建静态模式"中解放，有效深度留给推理。
• 100B 记忆表可卸载到主机 DRAM，吞吐损失 <3%（确定性寻址可预取）——又一次约束驱动创新：知识容量在便宜硬件上扩展，GPU 只留给计算；DRAM 不被卡脖子。
• 与持续学习的关系（注意：论文没做 CL，记忆表是静态的，以下是推断）：灾难性遗忘难就难在知识和能力纠缠在共享权重里；Engram 把事实知识剥到确定性寻址的表里后，"改表不动推理权重"在架构上变得可想象。位置是第五个：架构内、计算外——比 RAG 更整合，比权重更可编辑。
• 拼图收束：权重外记忆（现在能用）→ 睡眠固化（固化机制）→ Engram 类分离架构（固化的收纳处），三条线朝同一交点走。
• 谱系：最近亲戚是 Meta《Memory Layers at Scale》(2024-12)，差异是用确定性哈希取代学习检索——放弃灵活性换 O(1)/可预取/可卸载，典型 DeepSeek 取舍。

七、往后怎么追踪

三个可观察信号：

1. CL-Bench(2606.05661) 上的曲线——是否出现"随经验单调变强且不遗忘"；以后任何声称解决 CL 的工作先看这个数。
2. 权重内方案是否进旗舰模型——Hope 进 Gemini 主线、V4 的 Engram 记忆表是否支持训后更新。
3. 权重外记忆的"够用"程度——如果 memory/技能库持续变强到够用，权重内路线可能像架构搜索一样被判不必要；如果 agent 长周期任务始终卡在经验不复利，资源会被逼向睡眠固化。

阅读清单