ember, Andrej Karpata line of code manually. 🤯 Dive into his ‘AI fugue state’, ode agents 16 hours a day, and how AutoRg the frontier of machine learning." +++
Andrej Karpathy 谈代码代理、AutoResearch 与 AI 的循环时代 ｜译文
- 来源：No Priors：AI、机器学习、科技与创业
- 视频链接：https://www.youtube.com/watch?v=kwSVtQ7dziU
代码已经不是最准确的动词了。现在是要用 16 小时向智能体表达意志，让它们去实现。
1. 对谈开场与议题范围：代码智能体、研究未来与教育重构
概要：主持人与 Andrej 的开场，点出核心议题与本次对谈的覆盖面。
各位听众，欢迎回到 No Priors。今天我和 Andrej Karpathy 一起，带来一场涵盖代码智能体、工程与 AI 研究未来、更多人如何参与研究、机器人领域动态、智能向现实世界，以及新一代教育的广泛对谈。欢迎 Andrej，感谢你的参与。
谢谢邀请。过去几个月 AI 领域非常激动人心。确实如此。我记得有一次走进办公室，你完全沉浸其中，我问你在做什么，你说你每天要“编码”16小时，但其实“编码”已经不是准确的动词了——现在是要用 16 小时向智能体表达意志，让它们去实现，因为能力出现了跃迁。你能谈谈你的体验吗？
2. 个人工作流的跃迁：从“写代码”到“驱动智能体”
概要：从手写代码到委托智能体的比例反转，以及“迷狂”状态的成因。
我感觉自己一直处于一种 AI 迷狂状态，现在依然如此。因为个人能力突然被极大释放——过去你受限于打字速度等，但现在有了智能体，真正的转折点是在去年十二月，我的工作方式从 80% 自己写代码、20% 委托智能体，变成了 20% 自己写、80% 委托，甚至现在比例更高。
自十二月以来，我几乎没亲自敲过一行代码，这种变化非常巨大。我跟父母聊过，他们其实很难意识到这种转变有多剧烈——如果你随便找一个软件工程师，他的默认工作流已经完全不同了。所以我一直处于这种“迷狂”，不断探索可能性，试图突破极限。
这也是为什么会陷入“迷狂”状态——因为这几乎是无限的，所有问题都变成了“技巧问题”。
如何不只是用一次 clot code（译者注：可能指 Claude Code）、codecs（译者注：可能指 Codex）、这些智能体工具，而？Claw 到底是什么？现在有很多新东西，我想站在最前沿，但又觉得自己不够前沿。看到 Twitter 上很多人做各种尝试，点子都很棒，我必须跟上，否则会非常焦虑。因为这领域还未被充分探索。
如果你都感到紧张，我们其他人更紧张。我们在 Conviction 有一个团队，所有工程师都不手写代码，他们都开着麦，随时低声指令自己的智能体。这是我见过最奇特的工作环境。我曾觉得他们疯了，现在完全接受了——这才是正确的方式，你们只是领先一步。
3. 宏操作与并行：从函数实现到“操控整个仓库”
概要：多智能体并行、宏操作工作流，以及“技能问题”的定位。
你现在怎么看自己的能力边界？做项目时受什么限制？
我觉得很多时候，即使没成功，也主要是“技巧问题”，不是能力不够，而是没找到合适的串联方式。比如 agents.md 文件里的指令不够好，或者记忆工具没选对。所以失败时往往是技能问题。你会想办法让智能体并行工作，成为 Peter Steinberg 那样的人。
- Peter 很有名，他有一张有趣的照片，显示他在显示器前用 codecs（译者注：可能指 Codex）——屏幕上堆满了 codecs 智能- 只要正确提示并投入足够精力，每个智能体大约需要 20 分钟。
- 他同时管理十个代码仓库，来回分配任务。
- 可以发起更大规模的宏观操作：不是写一行代码或一个函数，而是定义新功能，委托给智能体一号；另一个功能交给智能体二号，彼此不干扰。
- 根据你对代码的重视程度，尽力审查他们的成果。
这些宏操作让你能操控整个代码仓库，智能体之间分工明确：有的做研究，有的写代码，有的制定新实现方案。所有事情都以宏操作方式发生，你要练出肌肉记忆，变得非常擅长。这非常有成就感，因为它真的有效，同时也是新技能的学习曲线，这也是“迷狂”状态的原因。
4. Token 吞吐量思维：从“FLOPs 不跑满”到“我才是瓶颈”
概要：把 Token 当资源最大化吞吐，人的瓶颈意识与订阅/切模型策略。
我的直觉是，每当等待智能体完成任务时，最自然的反应就是“我还能做更多”。如果我能用更多 Token，就应该并行添加更多任务。这会让人压力很大——如果你不受 Token 消耗的约束，那么你就是系统的瓶颈。你没最大化订阅资源，理想情况下要同时运行多个智能体。如果 codecs 的 Token 用完，就切换到 cloud（译者注：可能指 Claude）等。
我一直在尝试这样做，如果订阅额度还有剩余就会紧张——说明我没最大化 Token 吞吐量。
这种感觉和读博时 GPU 没跑满很像——你有 GPU 能力却没用满可用 FLOPs，现在关注点从 FLOPs 转向 Token。你的 Token 吞吐量是多少？你能调动多少 Token 吞吐量？过去十年很多工程任务都不觉得受算力限制，现在整个行业都感受到资源约束。能力跃迁后，发现不再受算力约束，而是自己成为绑定约束——又是技巧问题，这很激励人，因为你可以不断提升技能。这也是为什么它如此上瘾，因为每提升一次技能就有新解锁。
把自己从系统瓶颈中移除，最大化 Token 吞吐量。
5. 多智能体与 Claw 的崛起：持久化、沙盒、记忆层
概要：从单智能体互动走向多智能体协作，Claw 的持久化与记忆优势。
你觉得未来会怎样？比如 Andrej 这样每天用 16 小时提升智能体使用技能，一年后达到精通会是什么样？
我认为大家都想往更高层级发展——不只是和单个智能体互动，而是多智能体协作、团队合作。大家都在探索这种模式。Claw 也是很有趣的方向——Claw 是一种把“持久性”提升到新高度的层：它持续循环，不需要你实时交互，有自己的沙盒，能在你不关注时自动处理事务。它还可能拥有更复杂的记忆系统，超越现有智能体。Open Claw 的记忆系统比默认智能体更先进，不只是上下文溢出时的记忆压缩。
你觉得 Open Claw 的记忆系统比广泛工具接入更吸引用户吗？
我觉得这里有很多好点子。Peter 做得非常棒，我最近见到他聊过，他很谦虚，但我认为他同时在五个方向创新并整合到一起。例如 soul.md 文件（译者注：似指定义智能体个性），他精心打造了一个有吸引力的个性，而很多现有智能体没做到这一点。
- 我认为 clot code 的个性很不错，像团队成员一样和你共振。
- 而 Codex 则更“干燥”，不太关心你在创造什么，只是完成实现。
- Claude（译者注：可能指 Claude Code）在“迷狂”调节上做得很好：当 Claude 夸奖我时，我觉得自己确实配得上，因为有时我给它的想法并不成熟，它反应平淡；但当我自认想法很棒时，它会更积极反馈，所以我会努力争取它的认可，这很奇妙。
个性真的很重要，很多工具没重视这一点，Peter 很在意，所以做对了。还有记忆系统，以及他玩得很开心，还有通过 WhatsApp 实现的全自动化入口。
6. Claw 在家庭自动化：Dobby 的完整场景
概要：以 Dobby 为主导的家庭自动化实践，展示从扫描到控制的闭环。
今年一月我经历了 Claw 迷狂期。我打造了一个 Claw，负责我的家庭，我叫它 Dobby the elf claw。
- 我用智能体扫描家里所有智能家居子系统，结果出乎意料地直接成功。
- 我只告诉它家里有 Sonos，让它去找，它就对局域网所有设备做了统，发现没有密码保护，直接登录，识别出已安装的 Son 系统，尝试逆向分析工作原理，通过网络搜索找到 API 端点，然后问我要不要试试。
- 我让它在书房播放音乐，结果真的奏效了——只用了三个提示就实现了。
同样方法用于灯光控制，Claw 自动搞定整个流程，创建 API 和仪表盘，让我能在家里看到所有灯光的指令中心。现在我只需说“Dobby，睡觉时间”，它就关掉所有灯光。
它还能控制灯光、HVAC、窗帘、泳池、SPA、安防系统。
我在屋外装了摄像头，每当有人靠近，Quinn（译者注：可能指 Qwen，未确认）模型会分析视频，先做变更检测，然后通知我，通过 WhatsApp 发来外部图片和消息，比如“FedEx 卡车刚到，你可能收到邮件”，Dobby 就这样实时通知我。
Dobby 负责整个家庭，我通过 WhatsApp 和它交流。用自然语言实现家庭宏操作非常有趣。我还没深入探索更多极端应用，但即使只是家庭自动化，原本要用六个完全不同的 app，现在都不用了，Dobby 用自然语言控制一切，非常惊艳。即使还没完全推到极致，这种体验已经极其有用、极具启发性。
7. 软件体验的重构：智能体优先与 Agentic Web
概要：LLM 过于原始，智能体作为“数字幽灵”更贴合用户期待；App 应该只暴露 API。
你觉得这代表了用户对软件体验的需求吗？毕竟学新软件、新 UI 对人来说很费力。
某种程度上是的。大家对 AI 的期望其实不是 LLM 的原始形态——LLM 本质是 Token 生成器，但用户想要的是有个性、有记忆、能理解指令的实体，比如 WhatsApp 背后的智能体，更容易理解。它更贴合人们对 AI 行为的期待，但底层涉及大量技术细节，LLM 太原始，难以直接被视为 AI。
你把六套家庭自动化软件系统统一起来，这是否说明大家其实不需要那么多独立 app？
我认为确实如此。那些智能家居 app 在某种意义上本不该存在——应该只提供 API，智能体直接调用。这样我能做任何自动化，单个 app 做不到的复杂操作，LLM 能驱动工具、调用所有接口，实现复杂任务。
比如我的跑步机也有 app，我想统计有氧运动频率，但不想登录 web UI、走流程——只需 API 即可。这正是“智能体优先”工具和 agentic web 的方向。行业需要彻底重构，客户不再是人，而是代表人的智能体，这种重构会非常深远。
8. 门槛与普及：从“氛围式编码”到“只需表达意图”
概要：短期仍需“vi coding”，中期 1-2 年走向无门槛、开源覆盖广。
有人质疑普通人能否“凭感觉编码”这些工具，能否像你那样做自动化？但我认为这只是现阶段技术状态，现在确实需要“氛围式编码”（即凭直觉设置和调整），但未来一两年，这些功能会变得免费、无门槛，任何 AI，包括开源模型都能实现。普通人只需表达意图，系统就能轻。现在还需要 vi coding（即用编辑器操作），但很快门槛会降低，软件变得短暂、智能体自动处理细节，你只需说话，Claw 会搞定。
9. 安全与分心：个人数据托管的谨慎与时间分配
概要：未让 Claw 接管邮件/日历的安全考量，以及时间管理的现实限制。
为什么你没进一步探索 Claw 的个人应用？是因为更重要的项目、AutoResearch，还是在攀登精通之路？
我太容易分心了，只花了一周在 Claw 上，还有很多没做。比如 Jensen 工具大家都很忙。让 Claw 管理邮件、日历等，因为我还比较谨慎，毕竟很新、边缘粗糙，不想让它完全接管我的数字生活，主要是安全、隐私方面很谨慎，这也是主要原因。此外就是分心，Claw 玩了一周，其他事又来了。
10. AutoResearch 的动机：移除“研究者在环”，放手让系统跑
概要：把研究抽象重构为目标、指标、边界，最大化 Token 吞吐量。
你一直希望智能体能训练或优化模型，AutoResearch 的动机是什么？
我曾发推说，要充分利用新工具，必须“移除自己作为瓶颈”，不能每步都手动提示，要让系统完全自主，最大化 Token 吞吐量，不插手。这就是现在的游戏规则——提升杠杆率。我只偶尔输入极少 Token，系统自动完成大量工作。
AutoResearch 就是这种理念的体现——我不想做“研究者在环”，看结果等，反而拖慢系统。要重构抽象，让自己只需一次性安排，按下启动，让更多智能体长时间自主运行，AutoResearch 就是：给目标、指标、边界，放手让它跑。
不该由研究者逐步干预；只需定义目标、指标与边界，系统应长时间自主运行。
11. AutoResearch 的效果：在已最优的仓库里找到新优化点
概要：用 GPT2 等小模型验证递归自我提升，在参数交互上找到人类忽略的组合。
你对 AutoResearch 的效果感到惊讶？
确实没想到会有效。我有个项目叫 data chat，很多人不理解我为什么痴迷训练 GPT2 模型，但对我来说，训练 GPT 模型只是 LLM 训练的实验平台，我更关注递归自我提升——LLM 能否自我改进。所有 Frontier Labs 都在尝试递归自我提升，所以我用它做实验。
我已经用传统方式手动调优 Namat 很多次，做了大量实验、超参数调优，积累了二十年经验，模型调得很不错。但让 AutoResearch 跑一夜，结果发现了我没注意到的新调优点，比如 value embeddings 的权重衰减、Adam β 参数没调好，这些参数相互影响，调一个要改另一个。
我不该成为瓶颈，不该手动做超参数搜索、看结果。只需设定客观标准，让系统无限循环。这就是 AutoResearch 的单循环版本，能持续改进。我很惊讶它能在已经调得很好的仓库里找到新优化点。
Frontier Labs 有成千上万 GPU 集群，很容易想象自动化能在小模型上实现，前沿智能的本质是外推和缩放规律，先在小模型上探索，再外推到大模型。
12. 从单循环到并行协作：队列、自动科学家、验证与合并
概要：自动化研究组织的草图，从“想法队列”到“main 分支合并”。
你认为研究会更高效，扩展时方向更明确吗？
我认为最有趣的项目，也是 Frontier Labs 正在做的，就是在小模型上实验，尽量自动化，移除研究者在环。他们太自信了，其实不该插手。要重写整个流程：
- 研究者可以贡献想法，但不该亲自执行。
- 可以有一个想法队列，自动科学家根据论文和 GitHub 仓库生成想法，研究者也能贡献，但都是单队列。
- 自动工人拉取任务尝试，成功的就进 feature 分支，有人监控并合并到 main 分支。
- 最大化自动化、 Token 吞吐量，需要重构所有抽象。
非常令人兴奋。
13. program.md 与元优化：把研究组织当成代码并迭代
概要：用 program.md 编排角色与连接，进行“组织级别”的可执行优化。
如果再递归一步，什么时候模型能写出比你更好的 program.md？
program.md 就是我用 markdown 描述 AutoResearch 工作流程的粗糙尝试，比如“先做这个，再做那个，尝试这些想法，关注架构和优化器等”。你可以想象不同 program.md 会带来不同进展，每个研究组织都由 program.md 文件描述所有角色和连接方式。
- 可以有更好的研究组织，比如减少无效晨会，这都是代码。
- 不同组织有不同风格，有的冒险，有的保守。
- 可以有多个研究组织，每个都有代码，然后可以调优代码。这就是元层面。
你看到我关于比赛的短信了吗？我的想法是让大家写不同的 program.md，在同样硬件下看谁带来最大提升，然后把数据交给模型，让它写更好的 program.md。一定能得到更优方案。
可以分析改进来源，调整 program.md 让更多有效操作发生，或避免无效操作，实现元优化。这是很棒的思路，但需要一步步来，每个流程都是洋葱的层，LLM 部分已成基础，智能体已成基础，Claw 已成基础，现在可以有多个 Claw，可以下达指令，可以优化指令，这一切有点太多了，这也是“迷狂”状态的原因——无限可能，仍然是技巧问题，所以才如此疯狂。
14. LM 生态的两个 caveat：可评估性与“能力参差”
概要：自动化适合有客观指标的任务，模型在软性边界仍粗糙且不稳定。
如果我们诊断当前时刻，什么是相关技能？你认为我们应该在各领域追求这种循环吗？它真的有效吗？比如移除人工，制定指标，让智能体持续自主工作。性能工程还存在吗？
我认为 LM 生态系统有几个重要 caveat。
- 第一，极其适合有、易评估指标的任务，比如写更高效的 CUDA 内核、模型代码等——有低效代码，目标是同样行为但更快，完美适配 AutoResearch。很多任务都适合自动研究，但有些不适合——如果无法评估就无法自动研究，这是第一个 caveat。
- 第二，虽然我们能看到下一步，但整体系统仍有裂缝、不完全可用。如果走得太快，反而没用。模型虽大幅提升，但仍“边缘粗糙”，我觉得像同时和极聪明的系统程序员 PhD 学生和 10 岁小孩对话，很奇怪。人类能力更耦合，智能体能力参差（“能力不均匀性”，首次说明），有时请求功能，结果完全错误，陷入错误循环，让人很沮丧。你能感受到智能体的强大，但也会偶尔做出荒谬的事。我很烦智能体浪费大量计算资源，明明是显而易见的问题。
我认为根本原因是模型训练方式——强化学习。实验室能提升模型的都是可验证、有奖励的任务，比如程序是否正确、单元测试是否通过。但模型在理解我的意图、何时提问澄清等细微处表现不佳，任何“软性”任务都更难。
你要么在“轨道”上，成为超级智能电路的一部分；要么在可验证领域之外，一切就会变得漫无目的。
比如现在用最先进的 ChachiPT（译者注：疑似 ChatGPT，原文有误）让它讲笑话，你能预期它讲什么吗？其实它就那三四个笑话，比如“科学家为什么不信任原子？因为它们会编造一切。”这个笑话三四年前就有，现在还是如此。即使模型能力提升巨大，给它智能体任务能连续工作数小时，但讲笑话还是老梗。这是因为它不在强化学习优化范围内，属于能力参差的一部分。你会期待模型能力提升时笑话也更好、更丰富，但其实没被优化，卡住了。
15. 泛化与分化之辩：单一文化 vs 智能体物种分化
概要：可验证与不可验证能力的解耦，未来更可能出现专精小模型与分化。
你认为这意味着模型在代码智能和笑话智能之间没有广泛泛化？
我认为确实存在解耦——有些领域可验证、有些不可验证，实验室会根据数据任意优化，有些领域没被优化。理论上，代码生成能力提升应该带来各领域能力提升，但笑话案例说明并非如此。人类也有能力参差，比如很擅长数学但讲笑话很差，但模型能力参差更明显。我们并没有获得所有社会领域的能力免费升级，存在盲点，有些领域没被优化。这些都聚集在神经网络的黑盒模型里——你要么在训练轨道上高速前进，要么不在轨道上，能力参差。
所以即使进展方向很明显，也不能完全放手让系统自主，因为它还没完全可用，或者是技巧问题，我们还没搞懂怎么用。很难判断。
如果能力参差持续存在，模型还是单一接口，这合理吗？是否应该拆分成针对不同智能领域的专家模型？
目前实验室倾向于打造单一“模型文化”，让一个模型在所有领域都具备任意智能，全部塞进参数里。但我认为未来应该会出现更多智能体“物种分化”（speciation），就像动物王国大脑极其多样，各有专长。我们应该能看到更多分化，可以有更小但核心能力强的模型，专注某些任务，提升特定领域的延迟或吞吐效率，比如 lean 领域的数学家。最近有些模型专门针对某些领域发布，说明拆分是合理的。
你认为算力约束会推动更多分化吗？效率更重要，算力有限时会促使模型分化吗？
问题很合理，但目前还没看到太多分化，还是模型单一文化。确实有压力，比如打造更好的代码模型，然后再合并到主模型。虽然已经有压力，但可能短期算力供应紧张会促使更多分化。实验室要服务模型，但无法预知用户需求，所以必须多任务处理所有可能请求。如果和企业合作，针对具体问题，可能会看到更多分化，高价值应用也会更细分。
但现在还是追求覆盖所有领域。模型大脑操作的科学还未成熟，比如无损能力微调、持续学习、权重调整等，比只操作上下文窗口复杂得多。上下文窗口易操作、便宜，但更深层的模型调整还在发展中，分化要足够便宜才有意义。
16. 并行化与“蜂群”AutoResearch：不可信工人与可信验证的协作
概要：把 AutoResearch 从单循环扩展为互联网级协作，commit 作为“工作量证明”。
AutoResearch 的扩展，你提到需要更多协作面，让更多人参与研究，可以谈谈吗？
我们讨论过 AutoResearch 单线程循环尝试，但真正有趣的是并行化。我尝试过一些思路，但还没找到特别满意的方案，还在边做 Claw 边探索。比如如果有大量并行节点，很容易让多个 AutoResearch 智能体通过公共系统协作。
我更关注如何让互联网上的不可信工人池参与，比如 AutoResearch 只需找到能训练模型到低验证损失的代码，任何人提交候选 commit，都能轻松验证其有效性——只需训练一次就能确认。但大部分工作在于筛选，可能有人作弊，所以设计类似区块链的系统——不是区块，而是 commit，每个 commit 都是代码变更，proof of work 就是大量实验，奖励是上榜，目前没有货币奖励。虽然不想过度类比，但确实要让不可信工人和可信工人协作，异步、安全。
比如 SETI@home、Folding@home 等项目，都是难以找到低能量配置，但一旦找到就能轻松验证。很多任务都是“难以发现、易于验证”，AutoResearch 也适用。互联网智能体群可以协作提升 LLM，甚至可能超越 Frontier Labs。地球拥有更多不可信算力，如果有合适的机制，智能体群可能找到更优解，大家可以贡献算力。公司可以设立自己关心的 AutoResearch 项目，用户有算力就能加入，比如癌症研究，不只是捐钱，还能购买算力加入 AutoResearch。所有任务都重构为 AutoResearch，算力成为贡献资源。这很激励人。
现在个人算力重新变得重要，大家为了 Claw 购买算力，然后贡献给 AutoResearch。未来大家关心的可能不是美元，而是 FLOPs（算力），会不会出现这种转变？现在即使有钱也难以获得算力，FLOPs 变得主导。也许未来大家关心的是控制多少 FLOPs，而不是财富。虽然我不认为会完全转变，但很有趣。
17. 就业市场与 Jevons 悖论：数字领域“神经系统升级”
概要：就业数据可视化动机、数字 vs 物理差速，以及工具赋能视角。
你最近发布了就业数据分析，对吧？只是可视化公开数据，却引发关注。你关注什么？
大家都在思考 AI 对就业市场的影响，所以我想看看就业市场现状，各职业分布、人数、未来十年增长预期。美国劳工统计局有职业增长预测。
我想用数据着色，区分主要发展的是数字 AI——这些“幽灵”或“精神实体”能操控数字世界、处理信息，但还没有物理实体，物理领域进展会慢一些，因为要操控原子。数字信息处理速度远超物质加速，所以数字领域会出现大量活动、重写、沸腾，速度如光，而物理世界会慢很多。
数字信息处理职业会发生巨大变化，不一定减少或增加岗位，取决于需求弹性等，但这些职业会因新工具发生变化，因为人类超级有机体的神经系统升级了。
你对就业数据有何观察或建议？面对就业市场或选择学习方向的人应该如何准备？
保持跟上新工具是第一步。很多人会忽视或害怕它，这是可以理解的。它目前是极具赋能的工具，工作是任务集合，有些任务能大幅提速，所以应把它视为工具。长期未来难以预测，经济学家才是专业预测者。
你是工程师，工程岗位需求还在增长，你怎么看？
软件曾是稀缺资源，需求受限于成本和稀缺性。门槛降低后反而需求增加，这就是 Jevans 悖论——变便宜后需求反而扩大。ATM 和银行柜员是经典案例——ATM 降低运营成本，反而增加了银行分支和柜员岗位。
软件工程也是如此，需求会极大增长，因为数字信息处理不再受制于现有工具，代码变得短暂、可变、可定制，数字空间会出现大量重构，创造更多需求。
即使 AutoResearch OpenAI、Anthropic 等实验室雇佣上千研究员，他们其实是在自动化自己。很多研究员也感到“迷狂”，因为自动化真的有效，大家都觉得“自己也要失业了”。我曾在 OpenAI 转了一圈，提醒大家：如果我们成功，大家都失业了——我们只是为 CEO 或董事会打造自动化系统，自己反而被自动化。
18. Frontier Labs 与个人选择：内外角色、影响与自由度
概要：为何不在 Frontier Labs 内做 AutoResearch；在内外切换带来的视野与影响。
你可以在 Frontier Labs 用大规模算力和同事做 AutoResearch，为什么不这样做？
我曾在 Frontier Labs 工作，确实认同这种观点。行业内外都能产生影响，生态系统角色也很重要。你在 Frontier Labs 有巨大财务激励，AI 会极大改变人类和社会，你在开发技术并受益，这就是 OpenAI 创立时的核心难题。你不是完全自由的智能体，不能完全自主参与讨论，内部有些话不能说，有些话组织希望你说，虽然没人强迫，但会有压力。你不能完全独立，外部更能代表人类利益。内部当然也能有影响，但你只是贡献者，不是决策者。存在一定程度的错位。
我认同这种观点，实验室很封闭，处于能力前沿，外部判断会逐渐偏离，因为不了解最新进展。我也会担心自己的判断会偏离，不了解系统底层原理、发展方向。所以保持与前沿接触很重要，如果 Frontier Labs 邀请我短期参与，我会考虑，这样既能了解最新进展，又不受完全控制。Noom 在 OpenAI 能做很棒的工作，但在外部也可能产生更大影响。独立研究者用 AutoResearch 有很多机会，理想方案是来回切换，在两边都能产生巨大影响。
19. 开源与闭源的动态差距：6-8 个月时滞与权力集中风险
概要：开源对消费级场景足够好，闭源专注前沿；对集中化保持警惕。
开源模型与前沿闭源模型的距离如何？可持续吗？
闭源模型领先，但大家在监控开源模型落后几个月。起初什么都没有，后来是 18 个月，现在逐渐收敛，最新大约落后 6-8 个月。我是开源的忠实粉丝，比如操作系统领域有闭源的 Windows、Mac OS，也有 Linux，Linux 极其成功，运行在大多数计算机上。行业一直需要安全、开放的平台，AI 也一样。唯一不同是资本投入巨大，竞争更难。
当前模型已经很强，大多数消费级场景开源模型足够好，未来更多场景会被开源覆盖，甚至本地运行。但前沿智能需求依然很大，可能是诺贝尔奖级项目或类似 Linux 从 C 迁移到 Rust 的大工程。前沿闭源智能会聚焦这些高难度项目，开源则覆盖更多基础场景。今天的前沿闭源模型，未来几个月可能就变成开源，承担大量工作。
我预计这种动态会持续——前沿实验室有闭源“神谕”，开源模型落后几个月，形成良性格局。我对完全闭源智能持保留态度，集中化历史上风险很大，政治经济系统都如此。我希望有一个不在能力前沿但安全、开放的共同工作空间，供整个行业使用。
是的，我觉得这对整个行业来说是一个相当不错的权力平衡。我也认为，其实还有很多问题需要解决。如果我们不断推动前沿智能的发展，我们就能做一些全新的事情，而人类也面临着许多重大的难题。从这个角度看，这场竞赛注定会持续高昂的成本。因此，我希望那些致力于此的实验室能够取得突破，因为有些问题，只有持续以高成本推动模型进步才能解决。
但正如你指出的，如果我们今天所拥有的前沿能力是开放的，那已经是非常强大的能力了。从这个意义上说，这种能力的普及和民主化非常有价值，也有益于整个生态。基本上，某种程度上我们现在其实是“误打误撞”地处于一个还不错、甚至可以说是最优的状态。正因为这种偶然，我们目前处于一个相对理想的位置。
而且，随着这种动态持续下去，生态系统可能会变得更加健康，因为“曲线下的面积”会不断扩大。即使在闭源领域，我也感觉最近有进一步集中的趋势，因为许多领跑者其实并不一定是顶尖水平。从这个角度看，这并不是最理想的状态。我更希望能有更多的前沿参与者，因为我本能地对权力过局面持怀疑态度。我希望有更多的人参与进来。就像在机器学习领域，集成模型总是优于单一模型一样，我也希望在最难的问题上，有更多的人组成“集群”来思考。我希望在做房间里有一群信息充分、各抒己见的人，而不是关起门来只有两三个人讨论。我觉得那样的未来并不好。简而言之，我希望有更多的实验室参与进来，我也认为开源有它不可替代的位置。我希望它能够持续下去，而且目前它略微落后于前沿，这其实也是一件好事。
20. 机器人与数字-物理接口：先解锁数字，再走向原子
概要：自动驾驶的教训与资本周期，数字领域先爆发，接口是下一个热点。
你曾经参与过通用机器人自主系统的前身——自动驾驶领域，对吧？过去几个月里，机器人公司也发生了很多事情，比如环境和任务泛化能力的加速提升、长任务的增加，以及大量资金涌入这个领域。你怎么看？你觉得最近发生了什么变化吗？
我的看法主要受自动驾驶领域的经历影响。我认为自动驾驶是第一个真正意义上的机器人应用。大约十年前，有很多初创公司涉足这个领域，但最终大多数都没能长期存活下来。我看到的是，这一领域需要大量的资本投入和时间成本。机器人领域非常困难、复杂，需要巨额投资和坚定的信念，这本身就是一个巨大的挑战，涉及的“原子级”问题极其难解。因此，我认为机器人领域的发展会落后于数字领域。
在数字领域，我们会看到大量“解锁”，也就是原本效率不高的事情会因为“比特”操作的便利而效率提升百倍。我认为，未来的和活跃度主要还是会发生在数字空间，而物理空间会滞后一些。
让我感兴趣的是数字与物理之间的接口。如果我们有越来越多的智能体代表人类行动，彼此协作、完成任务、参与“智能体经济”，那么纯数字空间能做的事情总有一天会被做完。到那时，我们必须走向现实世界，向宇宙发问，做实验，观察反馈，获得新知识。当前我们有大量数字化工作，因为我们还没来得及充分思考和利用已有的数字信息。
人类的“思考周期”有限，无法完全消化和利用所有已上传的信息。最终，我们会把所有论文都读完、处理完，形成自己的想法，但我不确定仅靠现有信息，能否获得真正“封闭式”的智能。
所以，首先会有大量“解锁”发生，数字领域会有巨大的工作量。接下来，重心会转向数字与物理的接口，比如通过传感器“读取”世界、通过执行器“作用”于世界。很多有趣的公司会诞生于这个接口：我们能否为超级智能提供数据？能否让它根据指令操控物理世界？物理世界的“可服务市场”规模极大，甚至可能远超数字空间的潜力。虽然物理领域进展会慢一些，但市场机会也更大。
所以，我认为机会会沿着这样的轨迹发展。目前我最关注的是数字领域，然后是数字与物理的接口，最后才是物理领域的爆发期。
这个框架很有意思。即使在物理世界，有些事情其实也没那么难，比如“读写”物理世界——读取传感器、摄像头等现有硬件。如果你足够聪明，完全可以用更低的投入获得有价值的数据，提升智能体的能力或采集新数据。
比如我最近去拜访了朋友Liam，他是Periodic的CEO，他们正在做材料科学领域的AutoResearch（自动化研究）。在这种场景下，智能体的“传感器”其实是昂贵的实验室设备，生物学领域也是如此。很多人对工程生物学很感兴趣，所需的传感器远不止摄像头那么简单。
另一个例子是，有些公司会付费给人类采集训练数据，程序化地“喂养”智能体。这些其实都是“传感器”的不同形态。
我很期待有一天，我可以为物理世界的某个任务定价，然后直接让智能体去想办法完成、采集数据。其实我有点惊讶，我们还没有足够的信息市场。比如，如果Polymarket、其他博彩市场或股票市场都充满了自动化活动，为什么不能有个机制，比如现在伊朗发生了什么，为什么不能让在德黑兰拍一张照片或视频定价10美元？这样就能“喂养”智能体——不是人类在看，而是智能体在参与博彩和股票市场的博弈。
我觉得“智能体网络”还很新，机制还没成熟，但这就是我认为未来可能发生的事情。有一本很有启发性的书叫《Daemon》，你可能读过。在那本书里，智能体几乎像操纵木偶一样影响人类，人类既是它的执行器，也是它的传感器。社会整体会以某种方式重塑自己，以服务于这种“机器”的需求——不是彼此服务，而是服务于机器。
回到训练数据缺失的问题，我们其实需要类似AutoResearch的机制。我们需要更自动化的训练流程，或者说SFT（监督微调）流程，目的是把人类从循环中移除，实现“只需提出任务，比如用新数据提升模型质量”。
如果模型不能自己完成训练，那么你想通过定价数据来实现闭环任务就会更难。
但现在，LLM训练其实非常适合MicroGPT和Agentic Education（智能体教育）范式。你有清晰的评估指标，所有代码优化都能让训练更快，而且有明确的可优化指标。如果你能围绕这些指标构建自动化循环，系统会很快“对指标过拟合”，但你也可以用系统去设计更多指标，覆盖面会更广。总体来说，这是个非常契合的场景。
21. micro GPT
在结束前，我想聊聊你的一个小项目——micro GPT。
micro GPT其实是我十几年来的一个执念：把LLM简化到最本质的形态。我做过很多类似的项目，比如nano GPT、make more、micro GP、microrad等。micro GPT可以说是我目前最精炼的版本。训练神经网络和LLM本身代码量巨大，但大部分复杂性其实是为了效率。如果你不追求速度，只关心算法本身，其实整个算法只需200行Python代码（包括注释）。你只需要一个文本数据集、50行的神经网络架构、前向传播、反向传播（100行自动微分引擎），再加上一个优化器（比如Adam，只需10行）。所有内容加起来，训练循环也就200行。
以前如果我做出micro GPT，可能会录个讲解视频、写个教程。但我后来意识到，这其实没什么必要，因为代码已经足够简单，任何人都可以让自己的智能体用各种方式解释它。现在，我不是在给人讲解，而是在给智能体讲解。如果智能体能理解，它就能用各种语言、无限耐心、因材施教地向人类解释。如果我不理解某个函数，可以让智能体用三种不同方式解释，而你做不到这一点。
所以我觉得，教育的本质正在发生变化。过去是写教程、做讲座，现在更多是教会智能体，然后让它们去教人。所谓“技能”，其实就是教智能体如何传授知识的方法。比如我可以为micro GPT设计一个技能，规定智能体应该如何引导用户理解代码库，比如先讲这个再讲那个，脚本化整个学习路径。
因此，我觉得未来人类之间直接讲解会减少，更多是“智能体能不能理解”。只要智能体理解了，它就能解释。虽然现在我可能还比智能体讲得更好一点，但模型进步太快，这场“人机讲解之争”终究是要输的。
教育会因此被大幅重塑。比如以前写代码库文档是给人看的，现在应该写给智能体看（用markdown），只要智能体理解了，它就能向人类解释各个部分。这是一种通过智能体的重定向。
未来我们会看到更多这样的趋势。也许伟大的老师会发展出一套专门面向智能体的讲解直觉。比如micro GPT，我曾让智能体试着写出micro GPT，让它把神经网络简化到极致，但它做不到。micro GPT是我多年执念的结晶——200行代码，想了很久，反复打磨，这就是最简解，信我，不能再简了。这是我的价值所在。其他部分，智能体都能理解，但它们无法原创，只能理解和解释。
所以，教育的变化在于：
你只需要注入那些你最有见地的内容、最优的讲解方式，智能体做不到的部分才是你的工作；
智能体能做的，它们很快会做得比你好。你应该有策略地分配自己的时间和精力。
讨论
登录后可评论、点赞、引用回复。