Chapter 1: Introduction
一场关于极致协同设计、扩展定律、供应链、电力、领导力与人性的长谈,信息密度极高。
以下是一场与NVIDIA首席执行官Jensen Huang(黄仁勋)的对话。NVIDIA是人类文明历史上最重要、最具影响力的公司之一,它是推动AI革命的发动机。而NVIDIA的成功,很大程度上直接归功于黄仁勋的坚韧意志,以及他作为领导者、工程师和创新者所做出的无数英明决策与大胆押注。这里是Lex Fridman Podcast。现在,亲爱的朋友们,请欢迎黄仁勋。
Chapter 2: Extreme co-design and rack-scale engineering
从“芯片级”到“机架级”的极致协同设计,涉及技术与组织的双重系统工程。
极致协同设计的必要性与难点
你带领NVIDIA进入了AI的新时代,不再仅专注于芯片级设计,而是迈向了机架级设计。我认为可以说,长期以来,NVIDIA取胜的关键一直是打造最好的GPU,你们至今仍在这么做,但现在你们已将这一目标扩展到极致协同设计(extreme co-design):涵盖GPU、CPU、高带宽内存、网络、存储、供电、冷却、软件、机架本身、你们宣布的Pod(机架组),甚至整个数据中心。我们来聊聊极致协同设计。面对如此多复杂组件和设计变量,协同设计系统最难的部分是什么?
嗯,谢谢你的提问。首先,极致协同设计之所以必要,是因为问题已经无法再局限于一台计算机、由一颗GPU来加速。你要解决的问题,是希望速度的提升能超过你增加的计算机数量。比如你加了10,000台计算机,但你希望它能快上百万倍。 然后,突然之间,你不得不把算法拆开、重构、将流水线分片、数据分片、模型分片。现在,当你以这种方式分布问题时,不只是简单地扩展规模,而是将问题分散出去,这时各种因素都会成为障碍。
这就是阿姆达尔定律(Amdahl’s Law)所描述的情况——你能获得的加速比取决于这部分工作在总工作量中所占的比例。比如,假设计算只占整个问题的50%,即使我把计算加速到无限大,比如快了一百万倍,实际上总工作量也只能提升两倍。
此时,你不仅要分布计算,还得想办法分片流水线。同时还要解决网络问题,因为所有这些计算机都要互联。因此,在我们所做的这种规模下进行分布式计算,CPU是个问题,GPU是个问题,网络是个问题,交换机也是个问题,把工作负载分布到所有这些计算机上本身就是个问题。这是一个极其复杂的计算机科学难题,所以我们必须动用一切技术手段。
否则,我们只能线性扩展,或者依赖摩尔定律的能力来扩展——而摩尔定律的速度其实已经大幅放缓,因为迪纳德缩放(Dennard scaling)已经减慢了。 我相信这里面肯定有权衡取舍。而且你们涉及的领域完全不同。我敢肯定,每个领域你们都有各自的专家,比如高带宽内存、网络、NVLink、网卡(NIC)、你们做的光模块和铜缆、电力供应、冷却系统,所有这些。每一项都有世界级的专家。你是怎么把他们都聚在一个屋子里,一起搞明白
这就是为什么我的团队规模这么大。
那这个流程是怎样的——你能不能带我梳理一下专家和通才是怎么协作的?比如你要把一堆东西塞进一个机架,你知道要装进去哪些东西,那你们是怎么把整个机架设计出来的?这个流程到底是什么样的?
什么是极致协同设计、为什么做、怎么做
嗯。第一个问题是:什么是极致协同设计(extreme co-design)?你、你、我们是在整个软件栈上做优化,从架构到芯片、到系统、到系统软件、到算法、再到应用。这是一层。第二点,就是你我刚才聊到的,这已经不只是CPU、GPU、网络芯片、Scale-up(纵向扩展)交换机和Scale-out(横向扩展)交换机了。
当然还得包括电力、冷却这些,因为你知道,这些计算机都极其、极其耗电。它们完成大量工作,能效很高,但总体上依然消耗很多电力。所以这是一个方面。
第一个问题是,这到底是什么?
第二个问题是,为什么要这样做?我们刚才已经讲过原因了,就是你希望把工作负载分布出去,这样就能获得超越单纯增加计算机数量所带来的收益。
第三个问题是,怎么做?你们是怎么实现的?这其实就是这家公司最神奇的地方。
你知道,设计计算机的时候,你得有计算机的操作系统。设计公司的时候,你首先要想清楚,你希望公司产出什么。我见过很多公司的组织结构图,它们看起来都一样——汉堡型组织结构图、软的组织结构图、还有汽车公司的组织结构图,全都长得一样。
这对我来说毫无意义。你知道,公司存在的目标,就是成为产出产品的机器、机制、系统。这个产出就是我们想要创造的产品。同时,公司架构也应该反映它所处的环境。这几乎会间接告诉你,组织该怎么运作。我的直属团队有60人。你知道,我没法跟他们一对一沟通,因为这根本不现实。如果你要完成工作,你不可能带着60个人一对一
所以你现在还是有60个直接下属?你还
还不止呢。 还有更多。而且大多数核心成员至少都涉足工程领域。
几乎所有人都是。我们有内存专家、CPU专家、光学专家。所有人,所有人
太不可思议了。
是啊,还有GPU——架构、算法、设计,嗯
所以你一直关注整个技术栈,还要和大家就整个栈的设计展开激烈讨论?
没有哪次讨论是一个人单独完成的。这也是我不做一对一沟通的原因。我们把问题摆出来,然后大家一起攻坚。你知道,因为我们在做极致协同设计(extreme co-design)。可以说,公司一直都在做极致协同设计。
所以即使你们在讨论某个具体部件,比如散热、网络,大家也都会听着?
对,没错。
而且他们可以补充说,“这个方案不适用于电力分配,这个不——”
没错。
“……这个不适合内存,这个不适合那个。”
对,完全正确。谁想走神就走神,你懂我的意思吗?原因就在于,团队成员都知道什么时候该专注。假如有些事情他们本可以参与但没参与,我就会直接点名,“来吧,进来一起讨论。”
从游戏 GPU 到“AI 工厂”:公司角色演进
正如你提到的,NVIDIA是一家不断适应环境的公司。那么你觉得,从什么时候开始,外部环境发生了变化,公司也开始悄然适应——比如早期从面向游戏的GPU,到深度学习革命初期,再到现在我们开始把它视作AI工厂?NVIDIA到底在做什么?它生产AI,那我们就要建造一个制造AI的工厂。
嗯,我可以——你也可以——我可以系统地梳理一下我们刚才的过程。我们最初是一家加速器公司。但加速器的问题在于应用领域太窄。它的优势是对任务有极致优化,你知道,任何专家都有这种优势。高度专业化的问题当然是市场覆盖面变窄,但这其实也没关系。真正的问题是,市场规模决定了你的研发能力,而研发能力最终决定了你在计算领域可能产生的影响力和作用。
所以,当我们刚开始作为一个非常专注的加速器时,我们一直清楚——那只是我们的第一步。我们必须找到方法成为一家加速计算公司。但问题是,当你成为一家计算公司时,就会变得太通用,反而削弱了专业化。关键在于——我把两个本质上存在张力的词联系到了一起:我们越像一家计算公司,作为专家的优势就越弱;越专注,整体计算能力就越有限。因此……我刻意把这两个词结合起来,公司必须一步一步地找到那条极其狭窄的路径,逐步扩展我们的计算视野,但又不能放弃我们最重要的专业领域。
好,我们迈出加速器之外的第一步,就是发明了可编程像素着色器。这是我们迈向可编程性的第一步,也是我们进入计算世界的第一次探索。第二件事是,我们把FP32引入了着色器。FP32这一步,兼容IEEE标准的FP32,是向计算迈进的巨大一步。正因为如此,所有在流处理器以及其他数据流处理器领域工作的工程师才注意到我们。他们说:“嘿,突然之间,我们或许可以用这个计算密集型的GPU,而且它现在符合IEEE标准了。我可以把之前在CPU上写的软件,尝试用GPU来运行。”
这促使我们把C语言加到FP32之上,也就是我们称之为Cg。Cg这条路最终带我们走向了CUDA。CUDA一步一步推进……嗯,把CUDA放到GeForce上,这是一个非常艰难的战略决策,因为它让公司付出了巨大的利润代价,而当时我们根本负担不起。但我们还是做了,因为我们想成为一家计算公司。计算公司必须有计算架构,而计算架构必须兼容我们所有芯片的设计。
你能跟我讲讲这个决策的过程吗?就是说,把CUDA放到GeForce上,是公司当时根本负担不起的,对吗?你能解释一下为什么还要这么做吗?为什么会大胆选择这么做?你能详细说说这个决定吗?
嗯,太好了。这确实是……我会说,这是我们公司第一次面临接近生死存亡级别的战略决策。
对于不了解的人来说,剧透一下,这最终被证明是公司历史上最聪明、最精彩的决策之一。CUDA后来成为了AI基础设施世界里极其重要的计算基础。所以——
谢谢你。
……只是给大家补充一下背景。事实证明这是个好决定。
是的,后来确实被证明是个好决定。我觉得……事情是这样的。我们发明了CUDA,它拓宽了我们加速器能够加速的应用范围。问题是,我们怎么吸引开发者来用CUDA?因为一个计算平台的核心就是开发者。而开发者不会仅仅因为一个平台能做点有趣的事就来用它,他们选择平台的原因是装机量大。因为开发者,和其他人一样,都希望开发能被很多人使用的软件。
所以,装机量其实是一个架构中最重要的部分。架构本身可能会受到大量批评,比如说,没有哪个架构比x86受到的批评更多……你知道,x86被认为不够优雅,但它却成了当今定义性的架构。这就说明,其实很多RISC架构,虽然设计得非常优美、由世界上最聪明的计算机科学家打造,结果大多都失败了。所以我给了你两个例子:一个优雅,一个几乎不美观,但x86却活了下来,原因就是——
装机量决定一切。
装机量决定了一种架构,其他一切都是次要的,明白吗?当时还有其他架构。CUDA 推出时,OpenCL 也在,还有……你知道,还有好几种竞争架构。但关键是,我们做出了一个非常正确的决定——我们说:“嘿,最终还是要看装机量,我们怎么才能把一种新的计算架构推向世界?”那时候,GeForce 已经取得了成功,我们每年已经卖出数百万甚至上千万块 GeForce GPU。于是我们说:“我们应该把 CUDA 放到 GeForce 上,不管用户用不用,都装进每一台 PC,把它作为我们培养装机量的起点。”与此同时,我们去吸引开发者,走进大学写书、开课,到处推广 CUDA。最终人们会发现它……那时 PC 还是主要的计算载体,还没有云计算,我们可以把一台超级计算机放到每个学校的研究人员、每位科学家、每所工科学校,甚至每个学生手里,最终一定会发生一些了不起的事情。
不过,问题在于 CUDA 让我们的 GPU(本来是消费级产品)成本大幅增加,几乎吞掉了公司所有的毛利润。当时公司估值大概……我记得是 80 亿美元左右?六七十亿美元的样子。等我们发布 CUDA 后,我意识到这会带来巨大的成本,但这是我们坚信的事。我们的市值一度跌到大约十五亿美元。我们就这样低迷了一阵,慢慢一点点爬了回来,但始终坚持让 GeForce 支持 CUDA。
我常说,NVIDIA是 GeForce 建起来的房子,因为正是 GeForce 把 CUDA 带给了所有人。研究人员、科学家们是在 GeForce 上发现 CUDA 的,因为他们很多人本身就是玩家,很多人本来就自己组装 PC。在大学实验室,很多人用 PC 零件自己搭集群。所以,这就是我们当初起步的方式。
然后这就成为了深度学习革命的平台和基础。
那也是另一个非常、非常精彩的洞察。是的。
那个关乎生死的时刻,你还记得吗……那些会议是怎样的?那些讨论又是怎样的?作为公司,决定孤注一掷,那种感觉如何?
我必须向董事会明确我们要做什么,管理团队也清楚我们的毛利率会被严重压缩。你可以想象一个世界,GeForce要承担CUDA的全部成本,而玩家根本不会领情,也不会为此买单。他们只愿意支付固定的价格,根本不在乎你的成本。所以……我们把成本提高了50%,这几乎吞噬了所有利润。当时我们是一家毛利率35%的公司,所以,这个决定确实很难下。但你可以设想,总有一天它会进入工作站,会进入超级计算机,在那些领域,也许我们能获得更高的利润。这样你就能用推理让自己相信这笔账算得过来,但这仍然……花了整整十年时间。
领导力
但那更多是和董事会的沟通,说服他们,而在心理层面——……作为NVIDIA不断作出大胆押注、预测未来,并且在某种程度上,尤其是现在,已经在定义未来。我几乎是在寻找你做出这些决策、带领公司实现这种飞跃的智慧…… 首先,我是被强烈的好奇心驱动的。到某个时刻,会有一套推理体系让我确信,某个结果一定会发生。它就是会发生。所以我在脑海中笃信它,而当我在脑海中笃信它时,你懂的,你就会去“显化”一个未来,而那个未来如此令人信服,根本不可能不实现。中间会有很多痛苦,但你必须相信你所相信的东西。
所以你会设想未来……然后本质上,从某种工程师的角度,把它变成现实?
对。你会推理怎么实现它,也会推理为什么它必须存在。你知道,我会推理……我们大家都会在这里推理。管理团队会推理这件事。我身边的所有人……我们花很多时间在推理这件事。接下来的部分,可能更像是一种能力,就是,你知道,很多时候在领导岗位上,领导者会保持沉默,或者他们了解到一些事情,然后写个宣言,新的一年开始了,莫名其妙到了年底,明年我们就会有一个全新的计划。大规模裁员,大规模组织结构调整,新的使命宣言……全新的Logo,你懂的那一套。
嗯,我们从来——我从来不是那样做事的。当我了解到一些事情,并且它开始影响我的思考时,我会非常明确地让身边所有人知道,这件事很有意思,这会带来改变,这会影响到那个方向。我会一步一步地推理事情。
很多时候,其实我心里早就有了决定,但我会抓住一切可能的机会——外部信息、新的洞见、新的发现、新的工程突破、新的里程碑——我会利用这些机会去塑造其他人的信念体系。我每天都在做这件事。无论是董事会、管理团队,还是我的员工,我都在做这件事。我在努力塑造他们的信念体系,这样当有一天我说,“嘿,我们来收购Mellanox吧”,对所有人来说,这就是显而易见、理所当然的。
当我说,“大家,我们All in深度学习吧”,并且告诉大家原因时,其实我早就已经在公司内部不同组织里铺好了路。每个组织、每个人,很多人可能都听过全部内容,大部分公司成员当然只听到一部分。当我宣布的那一天,大家其实已经在很多方面达成共识了。很多时候,我喜欢在宣布这些事情时,想象员工们会说,“Jensen,你怎么才说出来?”其实,我已经在很长时间里塑造他们的信念体系了,所以领导力有时候看起来像是“后面推动”,但实际上你一直在影响他们,直到宣布的那一天,大家100%认同。这才是你想要的效果。
你要带着大家一起前进。否则,你宣布一个关于深度学习的决定,大家会说,“你在说什么?”你宣布要All in某个方向,你的管理团队、董事会、员工、客户都会觉得,“这从哪冒出来的?这也太疯狂了。”所以,GTC的效应,如果你回头看那些主题演讲,我其实也在影响行业合作伙伴的信念体系,并且用这个过程来影响自己员工的信念体系。
所以,当我宣布某件事的时候,比如我们刚刚发布的 Grok,其实我们已经“晚”了……我谈论这些“垫脚石”已经有两年半了。你只要回头看看,就会发现:“天哪,他们已经说了两年半了。”所以我一直在一步一步地打基础,这样等到真正宣布的时候,大家就会说:“你们怎么现在才来?”
但这不仅仅是在公司内部。你其实是在塑造整个创新的大环境,全球范围的格局。你把这些想法抛出来,实际上就是在把想象变成现实。
我们其实不造电脑,也不造云。实际上,我们是一家计算平台公司。所以没人能直接从我们这里买到什么,这就是有点奇怪的地方。你知道,我们会垂直设计、垂直整合来进行设计和优化,但又会把整个平台的每一层都开放出来,让其他公司的产品、服务、云、超级计算机、OEM 电脑都能集成进去。最神奇的是,如果我没先说服他们,我根本做不了这些事。所以 GTC 大会很大一部分,其实就是在“显化”一个未来——等到我们的产品准备好了,他们就会说:“你们怎么现在才来?”
是的。所以你一直很相信“扩展定律”,广义上的扩展定律。那你现在还相信扩展定律吗?
Chapter 4: AI scaling laws
四阶段扩展定律:预训练、后训练、测试(推理)、智能体扩展
是的,是的。我们现在有更多的扩展定律了。 所以我觉得你已经列出了四个阶段:预训练、后训练、测试阶段,以及智能体扩展。当你思考未来,无论是遥远的未来还是近期的未来,你最担心、最让你夜不能寐、必须克服的阻碍有哪些,才能让扩展持续下去?
嗯,我们可以回顾一下,反思一下人们曾经认为的阻碍是什么。一开始,我们是第一个提出……预训练扩展定律的。你知道,大家理所当然地认为,我们拥有的数据量,尤其是高质量数据的数量,会限制我们能实现的智能水平。而那条扩展定律确实非常重要,非常重要。模型越大,相应需要更多的数据,结果就是更好的——会带来更聪明的AI。所以那是预训练阶段。
Ilya Sutskever,Ilya曾说过,“我们已经没有数据了”,或者类似的话,“预训练结束了”。整个行业都慌了,觉得AI要到头了。当然,这显然不是事实。我们会继续扩展用于训练的数据量,其中很多数据很可能是合成数据,这也让很多人感到困惑。其实大家没意识到,他们已经有点忘了,我们彼此训练、彼此传递的大部分数据,本来就是合成的。
你知道吗,它是合成的,因为它不是来自自然界。你创造了它,我消费它,我再修改、增强、重新生成,别人再去消费。所以,现在我们已经达到了这样一个阶段,AI能够以真实数据为基础,对其进行增强、扩展,并合成生成海量数据。而后训练的这部分还在持续扩展,因此我们能用的人类生成数据会越来越少、越来越少。我们用于训练模型的数据量会持续扩展,直到训练不再受限于数据——现在数据受限于算力。原因就是大部分数据都是合成的。
接下来就是测试阶段,我还记得有人跟我说:“推理?哦,是的,那很简单。预训练才难。”他们谈论的是那些巨型系统,觉得推理一定很容易,所以推理芯片会是很小很小的芯片,嗯……你知道,它们不会像NVIDIA的芯片那样。哦,那些才会很复杂、很昂贵,而我们可以做……而且——未来推理会成为最大的市场,而且会很简单,我们会把它商品化。你知道,每个人都能造自己的芯片。这个说法对我来说一直都不合理,因为推理就是思考,而我认为思考是很难的。
思考远比阅读难得多。你看,预训练其实就是记忆和泛化,就是寻找关系中的模式——你是在不断地阅读;而思考则是推理、解决问题、面对未知体验和新经历,把它们拆解成……分解成可以解决的部分,然后我们再通过第一性原理推理,或者借助之前的例子、过往经验,或者就是探索与搜索,尝试不同的方法。
整个测试阶段的扩展,也就是推理,其实就是在思考。它关乎推理、关乎规划、关乎搜索、关乎……
那怎么可能是计算轻量级的呢?我们对此的判断完全正确。所以测试阶段的扩展其实是极度计算密集的。
那么问题来了,好,现在我们已经进入了推理阶段,也就是测试时的扩展,那接下来是什么?很明显,我们已经创造出一个具备自主性的智能体,这个智能体拥有我们开发的大型语言模型。但在测试阶段,这个智能体系统会自行开展研究、查询数据库,还会使用各种工具,其中最重要的一件事,就是它会衍生并生成大量子智能体。
也就是说,我们正在构建庞大的团队。让英伟达(NVIDIA)通过招聘更多员工来扩展规模,要比让我个人扩展容易得多。所以,接下来的扩展法则就是“智能体扩展法则”。这有点像是AI的倍增——我们可以按你想要的速度生成智能体。
所以,你知道,我……我其实有四条扩展法则。随着我们使用这些智能体系统,它们会产生更多数据,带来更多经验。其中有些我们会说,“哇,这真的很棒,我们应该把它记住。”然后,这部分数据会回到预训练阶段,我们将其记住并进行泛化,再经过精炼和微调,回到后训练阶段。 然后我们在测试阶段进一步强化它,你知道的,还有这些智能体、智能体系统,把它们推向整个行业。于是这个循环,这个闭环,会不断延续下去。归根结底,智能的扩展最终取决于一个因素,那就是算力。
预测未来架构与硬件方向
但这里有个棘手的问题,你必须提前预判和预测,就是有些组件需要不同类型的硬件才能实现最优效果。所以你得预判AI创新将走向何方。比如说,混合
完全正确。
——专家模型加稀疏性。
完全正确。
对于硬件来说,你不可能一周之内就转向新方向。你得提前预判它会变成什么样子。这确实
太棒了。
——这真的很难、很让人害怕,对吧?
举个例子,这些AI模型架构大约每六个月就会诞生一次,而系统架构和硬件架构基本上每三年才迭代一轮。所以你得预判两三年后可能会发生什么。有几种方式可以做到这一点。首先,我们可以在内部自行开展研究,这也是我们既做基础研究,也做应用研究的原因之一。我们会自己训练模型,因此在这里拥有第一手的实践经验。这正是我所说的极致协同设计的一部分。
我们也是全球唯一一家与世界上几乎所有AI公司都有合作的AI公司。所以在我们能力范围内,我们会尽量去了解大家正在面临的挑战。 所以你一直在倾听整个行业、AI实验室的风声。
没错。你必须倾听并向所有人学习。最后一点,就是要有一个灵活的架构,能够随风而动、适应变化。CUDA的一个优势就在于,一方面它是极其强大的加速器,另一方面又非常灵活。专用化与通用化之间的这种平衡至关重要——如果没有专用化,我们就无法加速CPU;但如果没有通用化,我们又无法适应算法的变化。这种平衡真的非常关键。这也是CUDA一方面如此坚韧、另一方面我们还能不断增强它的原因。
现在已经到了CUDA 13.2,我们以极快的速度演进架构,确保能够跟上最新的算法。比如说……当专家混合(mixtures of experts)出现时,这也是我们采用NVLink‑72而不是NVLink‑8的原因。现在我们可以把整个4万亿、10万亿参数的模型放进一个计算域,就像在一颗GPU上运行一样。
嗯,可能很多人没注意到我提过,但如果你看Grace Blackwell机架的架构,它完全专注于做一件事——处理LLM。一年后,你看到Vera Rubin机架,它有存储加速器,有一个叫Vera的全新CPU,有Vera Rubin和NVLink‑72来跑LLM,还新增了一个叫Rock的机架。整个机架系统与之前完全不同,里面有许多新组件。原因是上一代是为MoE大语言模型推理而设计,这一代则是为智能体(agents)而设计,智能体会频繁调用工具,而且
显然,这套系统的设计是在Claude Code、Codex、OpenClaw出现之前完成的。所以你其实是在预判未来。这种预判来自哪里?是来自那些风声、来自对所有最新
不。 不,比那还简单。你只需要用理性去推导。首先,你只需要推理——无论发生什么,总有一天,为了让大语言模型成为一个数字劳工……我们就用这个比喻吧。假设我们希望LLM成为一个数字劳工。那它需要做什么?它必须能够访问真实世界的数据,也就是我们的文件系统。它还得能做研究,它并不是无所不知。我们没有……而且我也不想等到这个AI变得对所有事情——过去、现在和未来——都无所不知之后,才让它变得有用。
所以,我还不如让它去做研究。很显然,如果它想帮我,就得用我的工具。你知道,很多人会说,“你知道AI会彻底颠覆软件,我们以后不需要软件了,甚至连工具都不需要了。”那太荒谬了。我们来做个思想实验。你可以坐在那里,喝一杯威士忌,思考这些问题,一切就会变得非常清晰。
比如说,如果我要创造一个未来十年内我们能想象到的最惊人的——最惊人的智能体。假设它是一个类人机器人。如果这个类人机器人被造出来了,它更有可能是进到我家里,使用我现有的工具来完成它需要做的工作?还是说,它的手一会儿变成10磅重的锤子,一会儿变成手术刀,为了烧水还能从手指里发射微波?你觉得哪种更可能?还是说它更有可能直接用微波炉?而且它第一次用微波炉的时候,大概率还不会用。但没关系,它连着互联网,查一下微波炉的说明书,读一遍,立刻就成了专家,然后就能用了。
所以我觉得……其实我刚才描述的,几乎就是OpenClaw的全部特性。
你看,它会用工具,会访问文件,会做研究,它有I/O子系统。当你用这种方式推理完之后,你就会发现,“天哪,这对计算的未来影响太深远了。”原因是,我觉得我们刚刚重新发明了计算机。然后你会问,“好吧,我们是什么时候开始这样推理的?我们什么时候开始思考OpenClaw的?”
如果你看我在GTC上用的OpenClaw原理图,你会发现那是两年前。真的,两年前的GTC,我就在讲完全反映今天OpenClaw的智能体系统。当然,很多事情得汇聚到一起。首先,我们需要Claude、GPT这些模型达到一定的能力水平,所以它们的创新、突破和持续进步非常关键。然后,当然还得有人做出一个开源项目,足够健壮、足够完善,大家都能用起来。我觉得OpenClaw对于智能体系统的意义,就像ChatGPT之于生成式系统。我认为这真的非常重要。
是啊,这确实是一个非常特别的时刻。我也说不清为什么它能吸引全世界这么多关注,但事实就是如此,比 Claude、Codex 这些还要多。
因为普通用户能直接用上了。
没错,是这样。但其实这里面也有很大一部分是“氛围感”。Peter,我和他录过一期播客,他是个很棒的人。所以这其中也有一部分是代表这个事物的人本身。
是的,毫无疑问。
还有一部分是梗和——因为我们大家都在试图搞明白这到底是什么。这里面有非常严肃而复杂的安全问题,比如当你拥有如此强大的技术时,你要如何把数据交给它,让它能做有用的事情?但这也伴随着很多令人担忧的风险。我们作为个体、作为一个文明,都在摸索如何找到那个恰当的平衡点。
是的,我们很快就跟进了,也派了一批安全专家过来。我们做了一个叫 OpenShell 的东西,现在已经集成进 OpenClaw 了。
NVIDIA还推出了 NemoClaw。
对,没错。
它们安装起来非常简单,而且能确保安全。
我们会在三项权限中只给你两项。Agentic 系统可以访问敏感信息、执行代码、以及进行外部通信。只要我们在任何时候只赋予你三项中的两项能力,而不是全部三项,就能保证安全。而且在这两项能力中,我们还会根据企业授予你的权限进行访问控制。然后我们将其接入企业现有的策略引擎。所以我们会尽力帮助 OpenClaw 变得更强大。
Chapter 5: Biggest blockers to AI scaling laws
扩展的最大障碍:电力、能效与供应链协同的系统性问题。
你刚才非常精彩地解释了,我们过去曾遇到过很多以为无法突破的阻碍,但最终都克服了。但现在展望未来,你觉得接下来可能会有哪些阻碍?现在很明显,智能体(agents)会无处不在,所以我们肯定需要算力。那么,未来在扩展上的最大阻碍会是什么? 电力当然是一个关注点,但绝不是唯一的关注点。这也是我们如此努力推进极致协同设计(extreme co-design)的原因,就是为了每年都能将每秒每瓦Token(词元)数提升几个数量级。
过去10年,摩尔定律让计算能力提升了大约100倍,而我们在过去10年里,把计算能力提升了100万倍。我们会继续通过极致协同设计做到这一点。能效、每瓦性能,完全会影响一家公司的收入,也会影响一家工厂的收入。我们就是要把这一指标推到极限,让Token成本能以最快速度持续下降。你知道,我们的计算机价格在上涨,但我们的Token生成效率提升得更快,所以Token成本反而在下降,而且每年都能下降一个数量级。
所以电力,这确实很有意思。绕过电力瓶颈的方式,就是通过提升每秒每瓦Token数,让效率越来越高。当然,也有“我们怎么获得更多电力”的问题。
我们也应该获得更多电力。
这真的很复杂。你提到过小型模块化核电站,还有各种能源方案。这个问题会让你夜不能寐吗?AI供应链的瓶颈,比如第6章:供应链中,ASML(阿斯麦)的EUV光刻机、台积电(TSMC)的先进封装(如CoWoS),以及SK海力士的高带宽内存,这些都让你担心吗? 一直如此,我们始终在全力推进这件事。历史上从未有哪家公司能像我们这样,在高速增长的同时还不断加速。这太不可思议了,甚至让人难以真正理解。在整个 AI 计算领域,我们的市场份额还在持续提升,所以供应链,无论上游还是下游,对我们来说都至关重要。我花了大量时间向所有与我合作的 CEO 说明,哪些动态因素会推动增长持续甚至加速。这也是为什么我身边右侧坐着几乎整个 IT 产业上游的 CEO,以及几乎整个基础设施产业下游的 CEO。他们全都……有几百位 CEO 在场。我认为从未有哪场主题演讲能吸引几百位 CEO 出席。
部分原因是,我在向他们介绍我们当前的业务状况,讲述未来增长的驱动力和正在发生的事情,同时描绘我们接下来的方向,让他们能够利用这些信息和所有相关动态来决定投资策略。所以我像对待自己员工一样向他们传递信息。当然,我也会亲自拜访他们,确保他们了解:“嘿,听着,我希望你知道,这个季度、今年、明年,这些事情都会发生。”如果你看看 DRAM 行业的 CEO 们,全球排名第一的 DRAM 曾是数据中心 CPU 用的 DDR 内存。
Chapter 7: Memory
从不被看好的 HBM、LPDDR 到数据中心主流内存,如何“显化”供应链未来。
大约三年前,我说服了几位 CEO,尽管当时 HBM 内存在超级计算机中用得很少、几乎没有,但它将成为未来数据中心的主流内存。刚开始听起来很荒谬,但有几位 CEO 相信了我,并决定投资建设 HBM 内存。另一种更特别的内存,是我们用于手机的低功耗内存,我们希望他们能将这种内存适配到数据中心的超级计算机上。他们说:“手机内存用在超级计算机?”我向他们解释了原因。你看这两种内存,LPDDR5、HBM4,出货量都非常惊人。这三种内存都创下了历史纪录,而这些公司都有 45 年历史。所以,这也是我的工作之一——去告知、引导、激励他们。 所以你不仅是在“显化”未来、激励NVIDIA和公司里的各类工程师,其实你也是在“显化”未来的供应链。你现在在和台积电(TSMC)、ASML(阿斯麦)对话。
上游,下游。
上游,下游。对,就是这样。
GEV、卡特彼勒。对,那是我们的下游。对对,就是这样。
对,整个链条。我的意思是,这一切……整个半导体行业里有如此多极其复杂的工程工作,这条供应链的复杂程度和零部件数量简直让人心生畏惧,但它居然还能运转起来。
没错,深层次的科学,深度的工程,令人惊叹的制造能力,而且现在制造环节已经有大量自动化了,但我们依然有几百家供应商为我们的每个机架贡献技术,每个机架有130万到150万个零部件。Vera Rubin机架涉及200家供应商。
有意思的是,你并没有把这列为让你夜不能寐的“卡脖子”问题之一。
但我其实在做所有必要的事情
好的
……你看?我能睡得着,因为我已经把这项打勾了。我会说,OK,你知道,我可以安心睡觉了,然后我会想,让我们来推理一下。对我们来说,什么是重要的?嗯,因为——好,让我们来推理一下。我们把系统架构从你记得的最初的DGX‑I[译注:疑似DGX‑1],变成了NVLink‑72机架级计算——……这意味着什么?这对软件意味着什么?对工程意味着什么?对我们的设计和测试方式意味着什么?这对供应链又意味着什么?其中一个影响就是,我们把超级计算机的集成,从数据中心内部转移到了供应链里的超级计算机制造环节。
如果你这么做,你还得意识到,你要把……假设你要建的数据中心总规模,不管是多少,比如你想要同时运行50 GW的超级计算机,而制造这50 GW超级计算机只需要一周时间,那么供应链每周就需要1 GW的电力来制造这些超级计算机。
所以,我们需要供应链提升供电能力,以便在发货前就在供应链里完成超级计算机的制造和测试。NVLink‑72实际上就是在供应链里制造超级计算机,然后每个机架两三吨一组地发货。以前——以前是零部件发来,我们在数据中心里组装。但现在已经不可能了,因为NVLink‑72的密度太高了。这就是一个例子。我得亲自飞到供应链现场,去见我的合作伙伴,说:“嘿,”我说,“你猜怎么着?我们以前是这样造DGX的,现在我们要换成这种方式。这会好很多,因为我们需要它们来做推理。”推理市场,你知道,正在到来。推理的拐点要来了,这会是个很大的市场。所以我会先给他们解释发生了什么,为什么会发生,然后我会请他们每家各自投入数十亿美元的资本。因为他们信任我,我也非常尊重他们,我给他们充分的机会来质疑我,我会花时间给大家解释清楚,并与他们一起推理。 我会画图,然后用第一性原理来推理分析。等我讲完,他们就知道该怎么做了。
所以很大一部分其实是关于建立关系,以及共同描绘未来的愿景。嗯,不过你会担心某些瓶颈吗?比如说,供应链里最大的瓶颈是什么?你会担心ASML(阿斯麦)的EUV光刻机吗?你会担心台积电(TSMC)的CoWoS封装,以及它扩产的速度吗?就像你说的,你不仅增长极快,而且还在加速增长。所以感觉供应链里的每个人——这些确实是瓶颈——都必须扩容。你会跟他们讨论,比如说,怎么能扩容得更快?你会担心这个吗?
不。
好的。
因为我已经告诉他们我需要什么,他们明白我的需求。他们告诉我他们要怎么做,我相信他们会做到。
有意思。听到这个很棒。那我们能不能多聊一会儿电力的问题?你对于解决能源问题有什么期望?
Chapter 8: Power
Lex,我很希望我们能聊聊这个话题,也希望把这个信息传递出去。你知道,我们的电网是按照最极端情况再加上一些裕度来设计的。其实,99%的时间我们根本没到最极端的情况,因为最极端的情况只会出现在冬天的几天、夏天的几天,以及极端天气的时候。大多数时候我们远远没有到最极端,可能只用到了峰值的60%左右。所以99%的时间,电网都有多余的电力,基本上是闲置的,但它们必须闲置在那里,以备不时之需——比如医院要供电,基础设施要供电,机场要运行等等。
所以我的问题是,我们能不能去帮助他们理解,制定合同协议,设计计算机架构系统、数据中心,让他们在社会基础设施需要最大电力的时候,数据中心可以少用一点电。但这种情况其实很少见。在那段时间里,我们可以用备用发电机来补那一小部分,或者让我们的计算机把工作负载转移到其他地方,或者让计算机运行得慢一点。我们可以降低性能,减少功耗,在有人请求答案时,响应时间稍微长一点。
所以我认为,这种使用计算机、建设数据中心的方式,不再要求100%持续运行……而且这些合同真的非常严格,对电网造成了很大的压力…… 现在,他们必须在最大值基础上再提升。我只是想利用他们的富余电力,那些电力就那样闲置着。
是啊,这其实很少被讨论。那么现在的障碍是什么?是监管吗?还是官僚主义?
我觉得这是一个三方问题。首先是终端客户。终端客户对数据中心提出要求,必须做到永不宕机,对吧?所以终端客户期待的是完美。为了实现这种“完美”,就需要备份发电机和电网供电商的双重保障。于是大家都得做到六个九(99.9999%)。我认为,首先,现在我们应该让所有人明白,当客户提出这些要求时,你的数据中心运维团队里有人其实和CEO是脱节的。
我敢打赌,CEO根本不知道这些事。我会去和所有CEO谈谈。这些CEO们可能根本没关注那些正在签署的合同,而大家当然都想签最好的合同。然后他们会去找公有云服务商(CSPs),合同……这两个谈判代表……我现在都能想象他们的样子。你知道,他们在谈判这些多年期合同,双方都想要最有利的合同。结果就是,CSPs又得去找公用事业公司,他们也要求六个九。所以我觉得,第一步就是要让所有客户、CEO和客户们都明白他们到底在要求什么。
现在,第二点是我们必须建设能够优雅降级的数据中心。也就是说,如果电力公司、公用事业公司、电网告诉我们,“听着,我们得让你们降到大约80%负载”,我们会说,“完全没问题。”我们只需要对工作负载进行调度,确保数据永远不会丢失,同时降低计算速率,减少能耗。服务质量(QoS)会有一点下降。对于关键任务,我会立刻将它们转移到其他地方,这样就不会有问题,所以,无论是谁、哪个数据中心还能保持100%正常运行……
在数据中心里做这种智能、动态的电力分配,工程难度有多大? 只要你能明确需求,就能把它工程化。你说得太好了。只要它遵循第一性原理下的物理定律,我觉得就没问题。
你刚才说的第三点是什么? 嗯……第三点还是关于数据中心。第三点是我们还需要公用事业公司也意识到这其实是个机会——而不是说,“你看,我要提升电网能力得花五年时间。”呃,如果你愿意接受这种级别的供电保障,我下个月就能以这个价格为你供上。这样,如果公用事业公司也能提供更多不同等级的供电承诺,我觉得大家自然会找到应对办法。是啊,但现在电网里实在有太多浪费了。我们应该去把这些利用起来。
Chapter 9: Elon and Colossus
呃,你高度赞扬了Elon和xAI在孟菲斯建设Colossus超级计算机的成就,可能只用了四个月就创下纪录。现在已经有200,000块GPU,而且还在快速增长。你能不能谈谈,他的做法里有哪些值得所有数据中心建设者借鉴的地方?比如他的工程方法、整个建设管理方式等等?
首先,Elon在许多不同领域都深入钻研,同时也是一位极其出色的系统型思考者。他能够跨多个学科进行推演,并且显然会推动事情发展、质疑一切:第一,这件事有必要吗?第二,必须以这种方式完成吗?第三,这真的需要花这么长时间吗?他具备将一切反复审视的能力,直到所有内容被精简到最必要的程度,无法再去掉任何东西,但产品所需的核心功能依然保留。因此,他的极简主义可谓达到了你能想象的极致,而且是在系统层面实现的。
我还非常欣赏的一点是,他本人会亲临现场、参与行动。他会直接去到问题发生的地方,如果有问题,他就会说:“把问题给我看看。”当你把这些做法结合起来,就能打破许多“我们一直都是这么做的”这种惯性思维。“呃,你知道,我还在等他们……”其实每个人都有很多借口。
最后一点是,当你本人以极强的紧迫感行动时,会让所有人都感受到这种紧迫感。每个供应商手上都有很多客户、很多项目,而他会让自己成为所有人项目中的头号优先级——他是通过实际行动做到这一点的。 是啊,我也参加过不少这样的会议。看着真的很有意思,因为其实很少有人会问这样的问题:“好吧,这能不能快很多?怎么做?为什么必须要花这么长时间?”
对,没错。
然后……这往往就变成一个工程问题。确实,当你真正接触到实际情况……我记得有一次我跟他在一起,他真的把整个把线缆插到机架的流程都过了一遍。他和一位现场工程师一起做这项工作,就是想弄清楚这个流程到底是什么样的,怎么能让它更少出错。通过把每一个细节任务都搞明白,像组装一个数据中心——……你立刻就能在细节层面和系统层面感受到哪里存在低效,然后就能让它越来越高效。而且你还有一个大杀器,就是可以说:“我们干脆彻底换一种方式——”
对,就是这样。
“——把所有可能的障碍都移除。”
没错。
Chapter 10: Jensen’s approach to engineering and leadership
在你看来,NVIDIA极致协同设计(Extreme Systems co-design)的方法和Elon在系统工程上的做法有相似之处吗? 首先,协同设计是一项终极的系统工程问题。因此,我们做任何事情,都是从这个出发点开始的。我们的方式——这既是一种哲学、一种思维状态,也可以说是一种方法——是我在30年前就开始实践的,叫做“光速”。光速不仅仅指速度,它是我用来代表物理极限的速记。我们做的每一件事,都会与光速进行比较——无论是内存速度、运算速度、电力、成本、时间、投入、人数还是制造周期。
当你思考延迟与吞吐量、成本与吞吐量、成本与容量之间的关系时,会分别针对光速测试所有这些约束条件。然后,当你把它们放在一起考虑时,就会发现必须做出一些妥协。因为一个极低延迟的系统与一个极高吞吐量且成本低廉的系统,在架构上是完全不同的。但你需要知道,实现高吞吐量的系统的光速极限是什么,实现低延迟的系统的光速极限又是什么。这样,当你考虑整个系统时,就可以做出权衡。
所以我要求每个人都要先思考第一性原理和极限——物理极限——在我们做任何事情之前,都要先考虑这些,并以此为基准来测试一切。这是一种很好的思维框架。我并不喜欢另一种方法——持续改进。持续改进的问题在于,首先,你应该用第一性原理和光速思维去设计一件事,只受物理极限和物理规律的限制。之后,当然可以随着时间不断优化。
但我不喜欢一上来就有人说:“嘿,现在做这件事要74天——我们可以帮你做到72天。”我更愿意把一切归零,然后说:“首先,告诉我为什么要74天?我们来看看今天到底可以做到什么。如果我完全从零开始设计,究竟需要多久?”很多时候,你会惊讶地发现,可能只需要六天。 现在,剩下的74天,可能是各种合理的妥协,比如成本削减、不同的权衡等等。但至少你清楚它们是什么。而一旦你知道6天是可行的,那么把讨论从74天推进到6天,效果会出乎意料地好。
在你们这样极其复杂的系统里,“简单”有时候会是一个值得追求的设计准则吗?我的意思是,如果我能……比如你们发布的Vera Rubin Pod(机架组),简直令人震撼。我们说的是7种芯片、7种芯片类型、5种专用机架类型、40个机架、1.2千万亿个晶体管、近2万个NVIDIA芯片、超过1100个Rubin GPU、60 exaflops、10 PB/s的规模带宽。这只是一个……
这只是一个Pod(机架组)。
这只是一个Pod。
是的,这只是一个Pod。
我的意思是,甚至单独一个NVL 72机架就包含130万个组件、1300颗芯片、4000个Pod(机架组)塞进一个19英寸宽的机架里。
Lex,我们可能每周都要生产大约200个这样的Pod(机架组),只是让你有个概念。
面对如此多不同的组件,我猜“简单”几乎是不可能的,但在你们设计这些东西时,“简单”会是你追求的一个指标吗? 你知道,我最常说的一句话就是,我们需要让事情在必要时保持足够的复杂度,但同时尽可能简单。问题在于,这些复杂性是否真的必要?我们应该去验证,也要去质疑它。一旦确认了,除此之外的所有额外部分,其实都是多余的。
但这依然几乎让人难以置信。整个半导体行业,尤其是NVIDIA正在做的事情,都是人类历史上最伟大的工程之一。这些系统真的是、真的,是工程学上的奇迹。
这是世界上有史以来最复杂的计算机。
是的,工程团队,我是说……我不觉得这是个比赛,但我也不知道。如果真有个工程团队的奥运会,台积电(TSMC)的工程也令人惊叹。就像我说的,ASML(阿斯麦)在各个层面都很厉害,但NVIDIA绝对能和他们一较高下。真的,真的都是不可思议的团队。
嗯,这里汇聚了各个项目的金牌得主。
而且必须协同作战,还要直接向你汇报。这太棒了。你最近刚去了中国。
Chapter 11: China
所以很想问你,中国在发展科技行业方面取得了惊人的成功。你怎么看中国在过去十年里,能够打造出这么多世界级的公司、世界级的工程团队,以及这样一个技术生态系统
…能够产出如此多令人惊叹的产品?
有很多原因,首先我们先从一些事实说起。全球大约50%的AI研究人员是中国人,可能略有浮动,而且他们大多数仍然在中国。我们这里也有很多中国研究人员,但中国本土依然有非常出色的科研人才。他们的科技产业恰好在移动云时代到来时崛起,那时他们的主要贡献是软件,所以这是一个拥有令人惊叹的科学与数学基础的国家。孩子们受教育程度很高,他们的科技产业诞生于软件时代,对现代软件非常熟悉。
中国并不是一个单一的经济体,而是由许多省份和城市组成,各地市长之间都在竞争。这也是为什么有那么多电动汽车公司、那么多AI公司,以及你能想到的各种企业,他们都会创办属于自己的公司。因此,他们内部竞争极其激烈。你知道,最终留下来的就是那些极具实力的企业。
他们还有一种社会文化:家庭第一,朋友第二,公司第三。所以他们之间的交流量巨大——几乎一直在“开源”。因此,他们对开源的贡献更多也很合理,因为他们可能会想,“我们到底在保护什么?”你看,我的工程师,他们的兄弟在另一家公司,朋友也在那家公司,大家都是校友。你知道,校友这个概念——一旦是校友,就是终身兄弟。所以他们知识分享非常迅速,没有理由把技术藏起来,不如直接放到开源社区。这样开源社区就会放大、加速创新过程。于是你会看到人才快速成长、创新迅速迭代,这一切都源于开源、朋友之间的关系,以及疯狂的竞争。
在公司之间,在公司内部,最终会诞生令人惊叹的成果。所以今天中国是全球创新速度最快的国家,这一切都和我刚才说的内容息息相关:孩子们的成长方式、优质的教育、父母希望他们学业有成、文化氛围如此。这些都是中国的特点,他们恰好在科技经历指数级变革的时刻出现了。
而且从文化角度来说,做工程师真的很酷。这和你刚才提到的所有要素都息息相关……
这是一个建设者的国家。
对,真的是一个建设者的国家。我们国家的领导人非常了不起,但大多是律师。我们这边是为了保障安全、法治、治理;而他们的国家则是从贫困中崛起的,所以他们的大多数领导人都是极其优秀的工程师,其中不乏最聪明的头脑。
稍微岔开一下话题,因为你刚才提到了开源,我得说说Perplexity,你其实很早就是他们的粉丝了。
我很喜欢,是的。
也感谢你们开源了Nemotron 3 Super,现在大家可以在Perplexity里用它来查资料。这个模型是一个拥有1200亿参数的开源MoE(Mixture of Experts,专家混合)模型。你对开源的愿景是什么?你刚才提到中国的DeepSeek和MiniMax,还有很多公司都在大力推动开源AI运动,而NVIDIA也确实在开源大模型领域几乎处于最前沿。你对这方面的愿景是什么?
首先,如果我们要成为一家伟大的AI计算公司,就必须理解AI模型的演进方向。我特别喜欢Nemotron 3的一点是,它不仅仅是一个纯粹的Transformer模型,而是Transformer与SSM(状态空间模型)的结合。我们很早就开始开发条件GAN(生成对抗网络),那种渐进式GAN,后来一步步发展成扩散模型。所以,我们在模型架构和不同领域进行基础研究,这让我们能够预见未来什么样的计算系统能更好地支持新一代模型。这其实是我们极致协同设计(extreme co-design)战略的一部分。其次,我认为我们很清楚地认识到,一方面我们希望拥有世界级的模型作为产品,这些模型应该是专有的。
另一方面,我们也希望 AI 能够渗透到每一个行业、每一个国家、每一位研究者、每一位学生。如果一切都是专有的,研究就会变得困难,基于它、围绕它、与它协作创新也会很难。所以……开源对于许多行业加入 AI 革命来说,是根本性的必要条件。NVIDIA不仅具备规模和能力,也有持续构建这些 AI 模型的动力——只要我们还活着,就会一直做下去。因此,我们理应去做这件事。我们可以开放,让每一个行业、每一位研究者、每一个国家都能参与 AI 革命。
还有第三个原因,就是要认识到 AI 不仅仅是语言。这些 AI 很可能会用到工具、模型和子智能体,而这些都是基于其他信息模态训练出来的——可能是生物学、化学、物理定律,或者流体力学和热力学,而这些内容并不全是语言结构。因此,必须有人确保天气预测、生物学 AI、用于生物学的 AI、物理 AI 等领域都能被不断推进到极限、不断探索前沿。我们不造汽车,但希望每一家汽车公司都能用上优秀的模型;我们不做药物研发,但我希望礼来(Lilly)能拥有世界上最好的生物学 AI 系统,让他们可以用它去发现新药。
因此,这三条根本性的理由——既要认识到 AI 不仅仅是语言,AI 的领域非常广泛;又要让每个人都能参与到 AI 的世界里来;同时还要实现 AI 的协同设计——构成了我们坚持开源的重要基础。 嗯,我必须再次说,真的非常感谢你们开源,真正意义上的开源 Nemotron 3 以及……
是的,感谢你这么说。我们开源了模型、开源了权重、开源了数据,还开源了整个创建过程。没错,这真的很了不起。
呃,这真的、真的令人难以置信。你本来来自台湾,而且和台积电(TSMC)关系很密切。
Chapter 12: TSMC and Taiwan
所以我必须问,台积电我认为也是一家传奇公司,无论是工程团队,还是他们所做的令人惊叹的工程工作。你对台积电的文化和他们的做事方式有什么理解,能解释他们是如何在半导体领域取得如此独一无二、无与伦比的成功?
你知道,首先,关于台积电最大的误解,就是认为他们只有技术。好像他们拥有一个非常出色的晶体管,如果有人拿出另一个晶体管,游戏就结束了。
其实是技术,当然,我说的不只是晶体管,还有金属化系统、封装、3D 封装、硅光子技术,你知道,他们拥有的所有技术。这些技术确实让公司与众不同,他们的技术让公司特别。
但更重要的是,他们能够协调全球数百家公司的动态需求——随着这些公司不断成长、转型、需求增加或减少、推向外部、拉回内部,从一个客户切换到另一个客户,晶圆启动、晶圆停止、紧急晶圆启动——你知道,所有这些复杂的全球动态,世界一直在不断变化,而他们却能运营一家工厂,保持高产能、高良率、极佳的成本控制、卓越的客户服务。他们对自己的工作、对自己的承诺非常认真,因为他们知道自己是在帮助你运营公司。当晶圆承诺要交付时,晶圆就会准时到达,让你能够顺利运营业务。所以他们的系统,他们的制造体系,我可以说,完全是一个奇迹。
其次是他们的企业文化。这种文化一方面高度专注于技术,推动技术进步;另一方面又极度以客户服务为导向。很多公司非常注重客户服务,但技术水平并不卓越,无法站在技术前沿;也有很多公司在技术上处于最前沿,但客户服务却做得不够好。而他们却能将这两者平衡得恰到好处,并且在两方面都做到世界一流。然后,可能还有第三点,是我最看重的他们所创造的一项“技术”——一种无形的东西:信任。我信任他们,可以把我的公司建立在他们之上。这意义非常重大。
当你说信任,其实你们之间已经建立了非常紧密的关系,而这种信任是多年业绩积累下来的,同时也有人与人之间的情感纽带在里面。
三十年了,我都记不清我们通过他们做了多少几十亿、上千亿美元的生意,但我们之间没有签合同。这真的很了不起。
太厉害了。好吧,有个故事……2013年,台积电(TSMC)的创始人张忠谋邀请你担任台积电的首席执行官,你当时说你已经有工作了。这个故事是真的吗?
这个故事是真的。我没有否认。嗯,但我确实感到非常荣幸,当然,当然,呃,我当时就像现在一样清楚,台积电(TSMC)是历史上最具影响力的公司之一。而且,Morris(张忠谋)是我人生中最受尊敬的高管、商业伙伴,也是我个人的朋友之一。然后,呃……他来邀请我,我感到非常谦卑,也真的很荣幸。
但是,我现在所做的工作极其重要,我在脑海中已经看到了NVIDIA将会成为什么样子,以及我们能够带来的影响。这项工作真的很重要。这是我的责任,你知道,这完全是我一个人的责任,要让它实现。所以我婉拒了。你知道,不是因为这个机会不够好。这是个令人难以置信的机会,但我实在无法接受。
我认为NVIDIA和台积电(TSMC)都是人类文明史上最伟大的公司之一。管理其中任何一家,我相信,都是极其复杂的挑战,需要你真正全身心投入。不只是CEO层面,每一个层级的每个人,都必须真正全情投入——
是的。没错,毫无疑问——
……才能完成这种复杂度的事业。 所以现在我可以同时帮助两家公司了。
没错。所以NVIDIA现在是全球市值最高的公司。
Chapter 13: NVIDIA’s moat
我得问一下,正如科技圈常说的,NVIDIA最大的护城河是什么?你们有什么独特优势能抵御竞争?
我们公司最重要的核心资产,就是我们计算平台的装机基础。我们如今最重要的,就是CUDA的装机基础。原因在于,嗯,20年前当然还没有装机基础。但关键在于——即使有人搞出了个GUDA或者TUDA,其实也毫无影响。原因是,这从来都不仅仅关乎技术本身。技术当然极具前瞻性,但真正重要的是,公司始终专注于它、坚持下去,并不断拓展它的影响力。嗯,CUDA的成功不是三个人的功劳,而是43,000人的共同努力,还有数百万开发者相信我们,相信我们会持续推出CUDA 1、2、3、13,他们决定将自己的软件迁移到CUDA之上,把那座“软件大山”压在CUDA上。正因如此,装机基础是我们最重要的优势。
这个装机基础,再叠加我们执行力的速度和规模,没有任何公司在历史上曾构建过如此复杂的系统,真的没有。而且要做到每年都能完成一次,这几乎是不可能的。速度加上装机基础,在开发者心中——你只要站在开发者的角度想:如果我支持CUDA,明天它就能提升10倍,平均只需等六个月。
不仅如此,如果我在CUDA上开发,我能触达几亿台计算机,进入每一家云服务商、每一家计算机公司、每一个行业、每一个国家。所以,如果我开发一个开源包,首先放在CUDA上,就能同时获得这些优势。不仅如此,我百分之百相信NVIDIA会持续维护CUDA、不断改进它、持续优化库,只要他们存在,这一点你可以打包票。最后这一点,就是信任。把这些因素加在一起,如果我是今天的开发者,我会首选CUDA,我会最优先支持CUDA。这就是我认为最终分析下来,我们的第一——甚至是最核心的——优势。
我们的第二个优势是我们的生态系统。我们不仅在垂直方向整合了如此复杂的系统,还在水平方向融入了每一家公司的计算机。
我们进入了Google Cloud,我们进入了Amazon,我们进入了Azure。你知道,我们现在正疯狂扩展AWS。我们还进入了像CoreWeave和Nscale这样的新公司。我们在Lilly的超级计算机上,我们在企业级计算机上,我们在无线电基站的边缘。你知道,我的意思是,这简直太疯狂了——同一套架构出现在所有这些不同的系统里。我们在汽车里,我们在机器人里,我们在卫星里,我们在太空中。所以,当你拥有这样一个架构,而且生态系统如此广泛,几乎覆盖了世界上的每一个行业。
那么,CUDA的装机量未来会如何演变?AI工厂会成为护城河吗?你怎么看……你认为未来的NVIDIA会完全围绕AI工厂展开吗?
对我们来说,计算单元曾经是GPU,后来变成了一台计算机,再后来是一个集群,现在则是整个AI工厂。过去,当我看到一台计算机、看到NVIDIA造的东西时,我脑海里浮现的是芯片。然后在发布新产品、新一代时,比如说:“女士们先生们,我们今天发布Ampere”,我会拿起芯片——那就是我当时的心理模型……我在构建的东西。
现在,我不会——拿起芯片依然挺可爱的,但它只是可爱,不再是我脑海里的模型。我现在的心理模型,是那个巨大的吉瓦级设施,它连接着电网的发电系统,配备着庞大的冷却系统和极其复杂的网络架构。你知道,1万人在那里安装它,数百名网络工程师在现场,数千名工程师在背后努力让它启动。你知道,启动这样的工厂,不是有人说一句“现在开机了”就行的,它需要成千上万的人共同协作才能运转起来。
所以在你的思维方式里,其实……当你思考一个计算单元的时候,现在真的,晚上睡觉前想的,已经是机架的集合,是Pod(机架组),而不是单独的芯片了。
是整个基础设施。我希望我的下一个“跃迁”是,当我思考造计算机的时候,想到的是行星级的规模。那会是下一个“跃迁”。
Chapter 14: AI data centers in space
那你怎么看Elon(埃隆·马斯克)提出的那个“太空角度”?就是在太空中做计算,用来解决一些……这在能源扩展方面确实能让一些能源问题变得更容易。
散热问题可不简单。对。
散热。嗯,这里面涉及大量工程复杂性。所以……你知道,NVIDIA也宣布过你们已经在考虑这个了。
是的,我们已经在做了。NVIDIA的GPU是第一批进入太空的GPU。我当时都没意识到,后来觉得挺有意思……我本来应该宣布一下的。我们已经在太空了。你可以想象,我们的GPU穿着小小的宇航服。但我们确实已经在太空了。那里是进行大量成像的理想场所,因为那些卫星配备了极高分辨率的成像系统,而且现在已经可以持续不断地扫描地球。你希望获得厘米级别的成像,全球范围内持续进行,这样基本上就能实时获取一切的遥测数据。你不想把这些数据全部传回地球,那可是PB级、PB级的数据。必须直接在边缘完成AI处理,把不需要的、已经见过的、没有变化的数据都丢掉,只保留你需要的部分。
所以AI必须在边缘完成。显然,如果我们把设备放在极地,就能获得全天候的太阳能。但你知道,那里没有传导,也没有对流,所以基本上只能靠辐射散热。嗯,不过,太空很大。我猜我们只能在外面放上巨大的散热器了。
你觉得这个想法有多疯狂?比如说,这事是5年后、10年后、20年后才能实现吗?我们现在讨论的是AI扩展的阻碍因素。
你知道,我其实更务实。我会先找出下一个机会点在哪里,同时也在为未来铺路。所以我会派工程师去攻关这些问题。我们已经开始……在这方面学到了很多。比如,怎么应对辐射?怎么应对性能衰减?怎么进行持续的缺陷测试和验证?还有,怎么做冗余?怎么实现优雅降级,诸如此类的问题。所以我们其实可以……
那软件呢?你怎么看待在太空中软件的冗余和性能?怎么让计算机永远不会“坏”,只是变慢而已?
我觉得我们可以在前期做大量的工程探索。但与此同时,我最喜欢的答案还是——消除浪费。你看,我们有那么多闲置电力,我想尽快把它们用掉。
是的。地球上其实还有很多“低垂的果实”……可以用来推动AI扩展。
稍等一下,感谢我们的赞助商30秒。大家可以在简介里找到他们的链接,这真的是支持这个播客最好的方式。访问 lexfridman.com/sponsors。我们有 Perplexity,专注于好奇心驱动的知识探索;Shopify,帮你在线卖货;LMNT,补充电解质;Fin,客服AI智能体;还有 Quo,为你的企业提供电话系统,包括通话、短信和联系人管理。朋友们,选择要慎重。
现在,我们回到和黄仁勋(Jensen Huang)的对话。
Chapter 15: Will NVIDIA be worth $10 trillion?
你觉得NVIDIA未来有可能市值达到10万亿美元吗?换个问法,如果真有那么一天,世界会变成什么样? 我认为NVIDIA的增长极有可能实现,在我看来,这几乎是必然的。让我来解释原因。我们是有史以来最大的计算机公司。光是这一点,就值得大家思考:为什么?原因其实有两个,两个基础性的技术原因。
第一个原因是,计算已经从基于检索的、文件检索系统转变了。几乎一切都是文件……我们事先写好内容,事先录制内容。你知道的,我们画好东西,上传到网络,存成文件。然后我们用推荐系统、某种智能过滤器,帮你决定要检索什么。所以我们原本是一个预先录制、人类预先录制、然后检索文件的系统。这基本上就是计算机的本质。直到现在,AI计算机变得具备上下文感知能力,也就是说它必须实时处理和生成Token(词元)。所以我们从一个以检索为主的计算系统,变成了一个以生成为主的计算系统。在这个新世界里,我们需要的算力远超以往。过去我们需要大量存储,现在我们需要大量计算。因此,这就是第一点。我们从根本上改变了计算的方式和本质。
唯一可能让它倒退的情况是——只有当这种计算方式,这种基于上下文、情境感知、在生成信息前以新洞见为基础的生成式计算,如果它不奏效,才会倒退。如果在过去10年、15年我们在深度学习领域努力时,我在任何一个时刻得出结论:“你知道吗?这条路走不通,我觉得这是死胡同。”或者,“它无法扩展,解决不了这个模态,无法应用到这个场景。”那么,我当然会有完全不同的看法。但实际上,过去五年给我的信心,远超之前的十年。
第二个观点是,计算机过去因为是存储系统,本质上更像仓库。现在我们在建的是工厂。仓库赚不了多少钱,工厂的收益和公司营收直接相关。所以,计算机发生了两件事:不仅改变了实现方式,它在世界上的定位也变了。它不再只是计算机,而是工厂。它是工厂,用来创造营收。我们现在看到,这个工厂不仅在生产产品、生产大家想要消费的商品,而且这些商品本身非常有趣、极具价值,吸引了非常多不同的受众,Token(词元)也开始像iPhone一样分层细分。
嗯哼。你有免费的Token,有高端Token,还有介于两者之间的多种Token。对。所以,事实证明,智能其实是一种可扩展的产品。有极高智能的产品、Token,可以用于特定场景,有人愿意为此付费。你知道吗,有人愿意为每百万Token付$1000,这一幕很快就会到来。这不是“是否会发生”,只是“何时发生”的问题。
所以现在我们看到,这个工厂生产的商品实际上很有价值,能带来营收和利润。现在的问题是,世界需要多少这样的工厂?世界需要多少Token?社会愿意为这些Token支付多少?如果生产力提升到如此巨大的程度,世界经济会发生什么?
会发生什么呢……我们会不会发现新的药物、新的产品、新的服务?当你把这些因素结合起来看,我完全确信全球GDP的增长速度会加快。我也完全确信,用于计算的GDP占比将会是过去的100倍……因为它已经不再只是一个存储单元,而是一个产品生成单元。
所以当你从这个角度来看,再反过来思考NVIDIA是什么、NVIDIA做什么,以及在这场新的经济和新产业中我们能受益多少,我认为我们的规模会比现在大得多得多。剩下的问题对我来说就是,NVIDIA能不能在不久的将来成为一家年收入3万亿美元的公司?答案当然是肯定的。原因在于,这并不受任何物理极限的限制。我没有看到任何迹象表明3万亿美元是不可能的。
实际上,NVIDIA的供应链由200家公司共同承担。我们之所以能够扩展,是因为有这个生态系统的合作伙伴携手努力。问题只是我们有没有足够的能量去做这件事?毫无疑问,我们一定有能力做到。所有这些因素加在一起,这个数字其实只是个数字而已。
你知道吗?我还记得,NVIDIA第一次突破10亿美元营收时,有位CEO提醒我说:“你知道吗,Jensen,从理论上讲,一家无晶圆半导体公司是不可能超过10亿美元的。”我就不赘述原因了,但其实这完全不合逻辑,而且有很多证据证明事实并非如此。后来又有人跟我说:“你知道吗,Jensen,你永远不会超过250亿美元,因为还有其他公司。”还有人说,“你永远不会……因为……”这些都不是基于第一性原理的思考。最简单的思考方式就是,我们到底在做什么,我们能创造多大的机会。
现在,NVIDIA并不是份额驱动型业务。刚才我谈到的几乎所有内容都不存在,这就是难点所在。你知道,如果NVIDIA是一家规模100亿美元、靠抢市场份额的公司,股东们很容易看明白:哦,如果他们能拿下10%的份额,公司就能变大这么多。但很难让人想象我们能有多大,因为没有任何人可以让我们去抢份额。你懂吧?所以我认为,这就是世界面临的挑战之一——对未来的想象力。不过我有的是时间,我会继续用第一性原理去推理,也会继续谈论这些,每一届GTC大会都会变得越来越真实。你知道,越来越多的人会谈论它,总有一天,我们会实现它。我百分百相信我们会做到。
是的,这种关于Token工厂(Token factories)的观点,本质上就是每瓦每秒Token(词元)数(token per second per watt),而且每个Token都有价值。它就像一个真正能带来价值的东西,并且能为不同的人带来不同类型、不同数量的价值。真正的产品,其实可以宽泛地理解为Token。所以你会拥有一堆Token工厂。然后用第一性原理,很容易想象一个未来——考虑到AI能解决的所有潜在问题,你会需要指数级增长的Token工厂。 有趣的是,让我如此兴奋的原因,就是“Token(词元)的iPhone”来了。
你怎么称呼它?等等,你是说OpenClaw的iPhone?这很有意思。
智能体。
对,智能体。没错。
智能体整体。“Token的iPhone”来了。这是历史上增长最快的应用。它直接冲上去了,直线上升。
这说明了一些问题。
是的,毫无疑问OpenClaw就是Token的iPhone。
你知道,从去年12月开始,确实发生了一些非常特别的事情,人们真正意识到了Claude Code of Codex、OpenClaw的力量。[译注:疑似误听,可能指Anthropic的Claude、OpenAI的Codex或OpenAI/ChatGPT]
嗯,我其实有点不好意思承认,刚才在机场赶来的路上……这是我第一次在公共场合这样做。我是在“编程”,所谓的“编程”,就是对着我的笔记本说话。我有点尴尬,因为我假装自己是在和人类同事交流。呃,我不确定未来大家都……走来走去都在和自己的AI说话,我对这种未来的感受如何,但它确实是完成任务的高效方式。
而且更有可能的是,你的AI会一直打扰你。原因就是它完成事情太快了。它会不断向你汇报,“我搞定了。”“接下来要我做什么?”你知道,这……这是我觉得
大多数人还没意识到的部分,就是未来和你聊天、发信息最多的那个人,其实是你的claws或者lobster。 多么令人振奋的未来。
Chapter 16: Leadership under pressure
嗯,我读到你把很多成功归因于你比任何人都更努力、能承受比任何人更多的痛苦。我们可以列举出很多这背后的内容。比如说,面对失败、我们聊过的成本和工程难题,还有人的问题、不确定性、责任、精疲力竭、尴尬,以及你提到过的那些公司濒临破产的时刻。但还有压力。现在,作为这样一家公司的CEO,各国经济和国家战略都围绕着你们制定,财政预算围绕你们分配,AI基础设施也围绕你们规划,你是怎么应对如此巨大的压力的?在这么多国家和人民都依赖你的情况下,是什么给了你力量?
我很清楚,NVIDIA的成功对美国来说非常重要。我们创造了巨额的税收收入,为国家确立了技术领导地位。技术领导力对国家安全至关重要,而且不仅仅是国家安全的某一个方面,而是方方面面。当我们的国家更繁荣时,我们就能在国内政策和社会福利方面做得更好。因为我们正在美国推动大规模的再工业化,创造了大量就业岗位,帮助推动制造业回流美国——无论是各种工厂、芯片、计算机,当然还有这些AI工厂。我完全意识到这一点……而且我很幸运,这真的是一种馈赠——主流投资者、老师、警察,不管出于什么原因投资了NVIDIA,或者只是因为他们看了Jim Cramer买了点股票,现在成了百万富翁。我对这种情况非常清楚。我也清楚NVIDIA是我们背后和下游庞大生态系统合作伙伴网络的核心。
所以我应对这种压力的方式,其实就是我刚才所做的那样。我会推敲我们到底在做什么?这会带来什么影响?对其他人来说,是正面的,还是即使很辛苦,比如对供应链来说也是一种负担?那么问题来了,你打算怎么做?几乎所有我感受到的压力,我都会拆解、推理:“好,现在是什么情况?发生了什么变化?难点在哪里?那我打算怎么做?”我把问题拆解开,把这些情境分解成我可以处理、可管理的事项。接下来我唯一能做的就是,“你做了吗?要么你自己做了,要么让别人做了。如果你觉得需要做,但你没做,也没让别人做,那就别再为此抱怨了。”你懂吧?
所以……我对自己其实挺狠的。但我也会把事情拆解开,这样我就不会慌。我可以安心入睡,因为我已经列好了待办清单,确保所有可能让公司陷入危险、让合作伙伴陷入危险、让行业陷入危险的事情,我都告诉了相关的人。任何我觉得可能让任何人有风险的事,我都告诉了可以采取行动的人。这样我就把心里的负担卸下来了,或者我正在采取措施。所以,Lex,除此之外,你还能做什么呢? 所以,在创建NVIDIA的这一路上,经历了如此疯狂、极致的痛苦,你在心理上有过低谷吗?
哦,有的。哦,当然有。一直都有。一直都有。
然后
一直都有。
……你就是把问题拆解成小块吗?
对,对。
看看哪些是你能做的?
而且,Lex,部分原因其实是遗忘。你知道,AI学习最重要的特性之一是什么,对吧?系统性遗忘。你得知道什么时候该忘掉一些东西。你不可能把所有东西都记住,也不可能什么都背着走。你知道,你——你不想把一切都扛在身上。
我做得最快的一件事,就是把问题拆解开来,分析问题,然后分担压力。当我说“我告诉大家”的时候,其实就是在分担这个负担。越快越好。无论我担心什么,都要告诉别人,别一个人闷着。当然,也不能吓到他们。把问题拆成更小的部分,让大家参与进来,并激励他们去做点什么。
但其中一部分,就是要学会遗忘。很多时候你得对自己狠一点,就是别再为此哭诉了,振作起来,往前走。你明白吗?然后你就能起床了。
还有另一部分,是你会被下一个闪光点吸引——下一个未来、下一个机会——就是,“好吧,那已经过去了,接下来是什么?”我觉得这很像你看顶级运动员的表现,他们只关注下一个得分。上一分已经过去了,无论是尴尬还是挫折——都过去了。
你知道,而且因为我的很多工作都是在公众面前完成的,对吧?Lex,你其实也有不少工作是公开进行的。所以我做的很多事情都是公开的。你知道,我说了很多话,当时听起来挺有道理或者挺好笑,大多数时候其实只是我自己觉得好笑。然后你回头想想,其实也没那么好笑,但……
是的。相信我,我懂。但你基本上就是让自己被未来的光芒吸引。忘掉过去,只管继续
没错。
……继续朝那个方向努力。我是说,你确实说过一句挺有名的话,如果你早知道创办NVIDIA会有多难,结果比你预想的难了一百万倍,你就不会去做。
是的,没错。
嗯,但其实……你知道,我听到这句话时,我觉得,所有值得做的事情大概都是这样吧,对吗?
完全正确。其实,这正是我想表达的意思——拥有一颗孩子般的心是一种不可思议的超能力。你懂吗?我经常对自己说,当我看到一件事,几乎每次,我的第一个念头都是:“能有多难呢?”你明白吗?所以你让自己进入那种状态——能有多难呢?而且,这件事从来没人做过,看起来巨大无比,要花几千亿美元,要经历所有这些……但你还是会说,
“对啊,可是能有多难呢?”能有多难呢?所以你得让自己进入那种心态。你不想,也不该把所有的困难、挫折、考验和失望都提前在脑海里模拟一遍。你不想提前预演这些,也不想知道这些。你要带着“这一定会很完美、会很棒、会非常有趣”的心情去迎接新的体验。然后在过程中,你需要有耐力,需要有韧性,这样当真正的挫折发生时,那些挫折会让你意外,失望会让你意外,尴尬会让你意外,屈辱也会让你意外。你就是不能让……
现在你只需要打开另一个开关——忘掉它。继续前进,保持前行。嗯,而且,只要我对未来的假设,以及未来为何会如我预期般发生的理由没有发生实质性变化,那么我就应该预期结果也不会改变。所以我对未来的模拟输出依然会实现。如果它依然会实现,我就依然会去追逐它。我相信它会发生,你知道,所以这里有两三种人类特质的结合:能够以全新的心态进入一段经历,能够忘记挫折,能够相信自己,相信自己的信念并坚守它。但同时你也在不断地重新评估。
我觉得这三四五种特质的组合,对韧性来说真的很重要。嗯,你知道,我很幸运,不管是什么人生经历促成了这一点,我大概拥有这四五种特质。你知道,我总是充满好奇,总是在学习。我总是向每个人学习,你知道吗?我总是问自己……而且因为我对一切都很谦逊,我总是想着:“哇,他们做得真好。他们做得真棒。”你知道,我好奇他们是怎么思考的,他们是怎么做到的……所以我在模拟每个人。在很多方面,你知道,我几乎在模仿所有我观察到的人,对吧?你对他们做的每一件事都充满共情和尊重,所以你在不断地学习,你知道吗。
你现在是地球上最富有的人之一,也是最成功的人之一。要保持谦逊、保持自省是不是更难了……你觉得金钱、权力和名声会让你更难在内心承认自己错了吗?比如听取别人不同意见、从他们身上学习这些事。
嗯,出乎意料地,没有。我甚至会说恰恰相反。因为我的很多工作都是公开进行的,一旦我错了,几乎所有人都能看到。
你会被现实“谦逊”一下。说得公平。
而且当我错了,或者事情没按预期发展,或者你知道,大多数我在公开场合说的话其实我是很确定的。原因是这些话会影响到别人,我对此非常关注,也很谨慎。对于会议内部讨论的内容,很多事情可能会有不同结果。但这从来不会阻止我去推理。我的管理和领导方式,就是不断在别人面前推理。甚至现在和你说话时,你也能看到我在现场推理。我想让你明白我的意思,不是因为我告诉你——不是因为我要表现得很谦逊,而是我会把我的推理过程展示给你,然后你可以自己决定是否相信我的结论。
我整天都在会议里做这件事。和所有员工沟通时,我总是先说:“让我告诉你我的看法”,然后一步步推理。这给每个人机会插话说:“我不同意那一步”。推理的好处是,大家不必反对你的最终结论,他们可以质疑你的推理过程。这样他们可以把我拉向不同方向,然后我们一起继续推理。所以我们其实是在集体探索路径。这真的很棒。 是啊,你有一种……当你解释事情的时候,我能感受到你是在现场推理,始终保持开放的心态,让人觉得我似乎可以引导你的思路。这真的很美好,经历了这么多年的成功与痛苦,你还能保持这种状态。我觉得有时候痛苦会让人变得封闭。
嗯嗯,是的。
我觉得要保持
是啊。对尴尬的容忍力,我觉得……
对,就是……对尴尬的容忍力,这是真实存在的。多年来不断让自己陷入尴尬。即使在那些会议上,明知道周围有人,你提出了一个想法,结果被证明是错的——还能承认并从中成长。这在人性层面上真的很难。
是啊。你知道的。他们最近才知道,我的第一份工作其实是……清洁厕所,所以。
Chapter 17: Video games
我很高兴你一直保持着Denny’s那种精神,那种工作态度。真的很美。从Denny’s一路走来的经历非常动人。让我问问你关于电子游戏的事。我是个重度游戏玩家,所以必须感谢NVIDIA多年来带来的令人惊叹的图形体验。 顺便说一下,GeForce至今仍是我们的头号营销策略。没错。人们在青少年时期就开始认识NVIDIA,上了大学后已经知道NVIDIA是谁了。最初只是玩《使命召唤》、你知道吗,还有《堡垒之夜》。后来他们开始用CUDA,再后来用NVIDIA,以及Blender、Dassault、Autodesk这些工具。
是啊。我跟朋友说我要和你对话,他说:“哦,他们做的游戏GPU很棒。”
对,没错。
就是这样
没错。
当然还有更多内容,但确实,大家真的很喜欢……它确实给很多人带来了快乐。硬件真的让这些虚拟世界鲜活起来。关于DLSS 5有一些争议。你能跟我解释一下这背后的“戏剧”吗?呃,我猜网上的玩家担心它会让游戏看起来像AI生成的垃圾。你怎么看这个争议?
嗯,我觉得他们的观点有道理,我能理解他们的出发点,因为我自己也不喜欢AI生成的垃圾内容。你知道,现在越来越多的AI生成内容看起来都很相似,虽然都很漂亮,但我……所以我能共情他们的想法。但这并不是DLSS 5要做的事情。我展示过几个例子。DLSS 5是3D条件驱动、3D引导的,是基于真实结构数据引导的。所以几何结构由艺术家决定。我们完全忠于几何结构,每一帧都保持其真实性。它由纹理和艺术家的艺术性来调节,所以每一帧都会增强,但不会改变任何东西。
现在,问题是,关于增强的这个话题,DLSS 5 还允许——因为它是一个开放系统,你可以训练自己的模型来做判断,甚至将来还可以用提示词来引导它。比如说,我想让它变成卡通渲染风格,我希望它看起来像这样,你甚至可以给它一个示例。它就会以那种风格生成内容,完全符合艺术家的艺术性、风格和创作意图。
所有这些都是为艺术家服务,让他们能够创作出更美的作品,同时依然保持自己想要的风格。我觉得有些人以为游戏会像现在这样发布,然后我们再去做后期处理。但这并不是 DLSS 的本意。DLSS 是与艺术家深度集成的,它的意义在于把 AI、生成式 AI 的工具交到艺术家手里。当然,他们也可以选择不用,对吧?
我觉得人们对人脸非常敏感。而我们现在正处在这样一个时刻,我认为这很美妙,就是大家对 AI 粗制滥造的内容也很敏感。这其实像一面镜子,让我们意识到,我们真正追求的是那些不完美。有时候我们并不需要完美的画面,这反而让我们明白,在我们创造的世界里,究竟什么才是打动我们的。这很美。而只要这些工具能帮助我们创造这些世界
没错。
……那就太棒了。 没错。又多了一个新工具,而他们希望生成式模型能生成与照片真实感相反的内容。是的,它也能做到。所以这只是又一个工具。我觉得玩家们可能也会喜欢,过去几年我们向游戏开发者引入了皮肤着色器。很多游戏现在都有皮肤着色器,包含皮下散射,让皮肤看起来更像真实的皮肤。各行各业的游戏开发者都在寻找越来越多的工具来表达他们的艺术。这又是多了一个工具,他们可以自己决定用不用。
荒谬的问题。你认为有史以来最伟大或最具影响力的游戏是什么?也许从NVIDIA的视角来看?
Doom。
Doom,毫无疑问。那是3D的起点。
我会说Doom,从艺术、文化影响和行业交汇的角度来看,它把PC变成了游戏设备,那是非常重要的时刻。当然,飞行模拟类公司在它之前就已经存在了,但它们没有Doom那样的受欢迎程度,无法让整个行业把PC从办公自动化工具变成家庭和玩家的个人电脑。所以Doom在这方面真的很有影响力。从游戏技术的角度来说,我会说Virtua Fighter。所以我们和他们两家都是很好的朋友,你知道吗? 最近还有一些游戏,比如《赛博朋克2077》,真的有非常出色的GPU加速画面。像
完全光线追踪。
完全光线追踪。我个人是《上古卷轴:天际》的超级粉丝,呃,这个游戏虽然很早很早以前就发布了,但大家一直在推出各种mod
我们也喜欢mod。
……他们创造出的这些东西,真是令人难以置信,我的意思是……它就像变成了一个全新的游戏,让我可以一遍又一遍地重玩,每次都能——它会让你意识到,你可以用一种完全不同的方式重新体验你已经热爱的世界。所以
没错。
……我经常这么做。我最喜欢的事情之一就是在天际大陆上随意漫步。
呃,我们搞了个叫RTX Mod的东西。对,就是一个mod工具。
太棒了。
它让社区可以把最新技术注入到老游戏里。
当然,一款伟大的电子游戏不仅仅靠画面,剧情和角色塑造也很重要,但
没错。
……精美的画面确实能增强沉浸感,那种仿佛被带到另一个世界的感觉。啊,你刚才说得很对,其实AGI时间线的问题,关键还是看你怎么定义AGI。
Chapter 18: AGI timeline
那我想问问你对可能时间线的看法。我们来设想一个也许有点荒谬的AGI定义:一个AI系统,基本上能做你的工作。也就是说,能够创办、启动、发展并运营一家成功的科技公司,这家公司价值
是很棒的公司还是一般的公司? 不。它必须——它必须价值超过十亿,超过十亿美元。你知道,把所有那些组件做出来有多难。那么,我们距离实现还有多远?我们现在谈的是OpenClaw,它能完成所有极其复杂的事情,首先要创新、找到客户、销售、管理、组建一支由一些智能体和一些人类组成的团队,所有这些事情。这个距离我们还有五年、十年、十五年、二十年吗?
我觉得就是现在。我认为我们已经实现了AGI。
你觉得可以有一家由这样的AI系统运营的公司吗? 有可能,原因在于你说的是十亿,而不是永远。比如说,呃……并不是不可能,Claw能够创建一个网络服务,一个有趣的小应用,突然之间,几亿人用它,每人付50美分,然后没多久又倒闭了。我们在互联网时代见过很多这种类型的公司,而且大多数网站其实并不比OpenClaw今天能生成的更复杂。
有意思。实现病毒式传播,并从中变现。
是的。只是我不知道它会是什么,但当时我也无法预测那些公司,你懂吧?而且你这句话会让很多人兴奋。
Chapter 19: Future of programming
你的意思是,我可以——我可以直接,呃……启动一个智能体,然后赚很多钱。
顺便说一下,这其实正在发生,对吧?你知道,当你去中国的时候,你会看到一大批人在教他们的 Claw(Claude)去找工作、做事、赚钱。我其实——如果出现某种社交现象,或者有人创造了一个超级可爱的数字影响者,或者某种社交应用,比如喂养你的小电子宠物(Tamagotchi)之类的,然后突然之间就火了、瞬间成功,我一点也不会感到惊讶。很多人用它几个月,然后慢慢就淡出了。
现在,假如有 10 万个这样的智能体去建设 NVIDIA,概率是零。而有一点,我不会做的,也是我希望大家都能做到的,就是要意识到,人们真的很担心自己的工作。我只是想提醒大家,你的工作的目的,以及你用来完成工作的任务和工具,是相关的,但不是同一个东西。
我做这份工作已经 33 年了,我是全球任职时间最长的科技 CEO,34 年。过去 34 年里,我用来完成工作的工具一直在不断变化,有时变化还非常剧烈,比如两三年内就会发生巨大变化。我特别想让大家都听到的一个故事是:计算机科学家、AI 研究者最早预测会消失的职业,就是放射科医生。因为计算机视觉会达到超越人类的水平,而事实也确实如此。
CV——计算机视觉在 2019、2020 年就已经超越人类,可能稍晚一点,2020 年?好吧。所以计算机视觉超越人类已经很久了。预测是放射科医生会消失,因为研究放射影像已经成为过去,AI 会做这件事。他们说得完全对,计算机视觉确实完全超越人类。如今每一个放射科平台和软件包都是由 AI 驱动的,但放射科医生的数量却增加了。所以问题是,为什么?现在全世界反而出现了放射科医生短缺。一个原因是,过度的危言耸听让人们害怕从事这个对社会如此重要的职业,结果反而带来了伤害。
为什么之前的预测是错的?原因在于,放射科医生的职责是诊断疾病,帮助患者和医生进行诊断。如今我们能够以更快的速度分析影像扫描,你可以研究更多的扫描,诊断得更准确,更快地为住院患者服务,接诊更多的人。医院赚的钱更多,病人更多,你就需要更多的放射科医生。
令人惊讶的是,这一切其实早就显而易见会发生。英伟达(NVIDIA)的软件工程师人数会增加,而不是减少。原因在于,软件工程师的职责与他们编写代码的任务相关,但并不相同。我希望我的软件工程师去解决问题,而不是在乎他们写了多少行代码,你懂吧?但他们工作的目的并没有改变——解决问题、团队协作、诊断问题、评估结果、寻找新的问题去解决、创新、串联各种点——这些都不会消失。
你觉得有可能吗……就拿编程来说,你觉得全球程序员的数量会增加,而不是减少吗?
是的。原因是这样的——什么是编程的定义?我认为……截至今天,编程的定义其实就是“指定”,就是“规范”。如果你想更具指导性,甚至可以为你要写的软件提供一个架构。那么问题来了,有多少人能做到这一点?描述一个规范,让计算机去……告诉计算机要构建什么。有多少人能做到?我觉得我们刚刚从三千万直接跃升到可能十亿人。
所以未来每个木匠都会是程序员,只不过有了AI的木匠同时也是建筑师。他们能为客户带来的价值大幅提升,他们的技艺也极大地升华了。我相信每个会计师也会是你的财务分析师、你的理财顾问。所有这些职业都得到了提升……而且,如果我是个木匠,看到AI,我会完全兴奋到失控。你知道吗,如果我是个水管工,我能为客户带来的服务也会让我完全兴奋到失控。
而现在的程序员和软件工程师,我认为他们正处在最前沿,已经在直觉上掌握如何用自然语言与智能体交流,从而设计出最优的软件。 没错,完全正确。
所以,随着时间推移,这两者会趋于融合,但我认为,学习编程、了解什么是编程语言依然很有价值。传统的、老派的编程,什么是好的编程语言实践,编程语言的设计原则是什么
没错。
……那对于大型软件系统来说,应该选择什么样的语言?
Lex,你说得对,给观众解释一下,我认为“规范”的目标,以及制定规范的艺术性,其实取决于你要解决什么问题。
当我在思考为公司制定战略、规划公司方向以及我们该做什么的时候,我会用一个足够具体的层面来描述,让大家大致明白方向,而且可以付诸行动。它具体到可以让人采取行动,但我会有意留下一定的模糊空间,这样我们4.3万名优秀员工就能把它做得比我想象的还要好。
所以当我和工程师、和团队成员合作时,我会思考:我到底要解决什么问题?我在和谁合作?规范的详细程度、架构定义的层级,其实与这些因素息息相关。
因此,每个人都得学会自己想在编程这条光谱的哪个位置。写规范其实也是一种编程。你可能会选择非常具体地规定,因为你想要一个非常明确的结果;你也可能觉得,这一块你想更具探索性,所以会故意留白,让你能和AI来回互动,甚至突破自己的创造力边界。
这种在光谱上“艺术性地拿捏分寸”的能力,就是编程的未来。
但我想在编程之外多聊一点。我觉得很多人,尤其是白领行业的人,确实很担心自己的工作,对职业充满焦虑。我认为我们都不知道该怎么办,因为每当自动化和新技术到来,总会伴随动荡。我只是……首先,我觉得我们都需要有同理心,也要承担责任,去体会那些真正失业的个人和家庭所经历的痛苦。每当有像人工智能这样的变革性技术出现,必然会带来很多痛苦,而我也不知道该如何应对这种痛苦。希望随着工具的进化,能为这些人带来更多机会,让同类型的工作变得更高效、更有趣,就像编程领域一样。说实话,我最近编程真的非常开心,从未有过的快乐。希望新技术能自动化那些枯燥的部分,把创造性的部分留给人类来完成。但无论如何,仍会有很多痛苦和挣扎。
所以我首先的建议是……其实这也是我现在应对焦虑的方法。事实上,我们刚才还聊到这个。面对对未来的巨大焦虑、对压力的巨大焦虑、对不确定性的巨大焦虑,我会先把它拆解开,然后告诉自己:“好,有些事你能做点什么,有些事你什么也做不了。但对于那些你能做点什么的事,我们就来推敲一下,然后去做。”
如果我们今天要招一个应届毕业生,我有两个选择:一个完全不了解AI,另一个精通AI的使用,我会雇用那个精通AI的人。无论是会计、市场人员、供应链、客户服务、销售、商务拓展还是律师,我都会选择那个精通AI的人。所以我建议每个大学生、每位老师都应该鼓励学生去使用AI。每个大学生毕业时都应该成为AI专家。
每个人,无论你是木匠还是电工,都应该去用AI,看看它能如何改变你现在的工作,让你提升自己。如果我是农民,我一定会用AI;如果我是药剂师,我也会用AI。我想看看它能怎样提升我的工作,这样我就能成为革新这个行业的创新者。所以这会是我首先会做的事情。
然后我还会……确实,技术会带来岗位的转移,会让很多任务消失……因为它会自动化,如果你的工作就是那些任务本身,那你极有可能会被颠覆。如果你的工作的意义包含了你自己,某些任务——… 那么你就必须去学习如何用AI来自动化这些任务。其实这中间还有很多灰色地带。
顺便说一句,AI最美妙的地方,尤其是聊天机器人版本,就是你可以把……如果你感到焦虑,可以通过和它对话把问题拆解开来。我最近……真的很不可思议,你能用它梳理生活中的各种问题,而且……我不是指那种心理治疗上的问题,我指的是非常实际的,比如“好吧,我担心我的……”真的就是,“我担心我的工作。我需要哪些技能?我该采取哪些步骤?我怎么提升自己的AI能力?”你刚才说的所有这些,你都可以直接问它,它会…… 给你一个逐条的计划。我是说,它就是一个非常棒的人生教练,没别的。
我不会用AI,然后AI会说,“那我来教你。”
没错。虽然有点元认知的感觉,但——真的很神奇。所以大家真的应该
你不能走到Excel前说,“我不会用Excel。”那你就完了。
我的意思是,AI在我生活的方方面面带来的最大变化,就是消除了初学者第一次用某个工具时的那种阻力。我现在真的可以问任何事,“我第一步该做什么?”
没错。 那种“手把手”式的引导,帮你消除世界上各种体验的摩擦……你知道,就像我私下跟你说的,你提到,“我要去中国和台湾。”
太棒了。
只要问一句,“我该去哪里——”
真为你感到兴奋。
“我该去哪?我该做什么——”“你知道,我该怎么……”所有这些问题——……都会立刻得到解答,这真的很美妙。
嗯,你去台湾的时候,只要问AI——……“Jensen在台湾最喜欢的餐厅有哪些?”它真的会
你自己不知道吗?
哦,知道。
它准吗?好吧。
嗯。
好的。
全台湾都有。
你在那边可是超级巨星。就像我们私下聊的那样,也许我们会在计算领域碰面,那一定很棒。
COMPUTEX。NVIDIA GTC Taiwan。
嗯,你觉得关于人性、关于人类意识,有没有什么东西是从根本上无法被计算的?也许有些东西,无论芯片多么强大,都永远无法复制?
我不知道芯片会不会有紧张的感觉。你知道,当然,导致焦虑、紧张或其他情绪的那些条件……嗯,我相信AI能够识别并理解这些情绪。我不认为我的芯片会真正感受到这些。所以……那种焦虑、那种感觉、那种兴奋、那种……你知道,所有这些情感在人类表现中是如何体现的。比如说,极其惊人的人类表现、运动表现,或者一般甚至低于平均水平。
在完全相同的环境下,不同的人会有完全不同的表现,展现出完全不同的结果。我觉得我们正在构建的任何东西,都不会让两台计算机在完全相同的情境下——当然,它们会产生统计上不同的结果,但那不是因为它们有不同的感受。
是啊,这种主观体验……天哪,人类所感受到的主观体验真的是一种说不出的特别。就像我之前跟你说的,我其实挺紧张跟你聊天的。那种希望、恐惧、焦虑,还有生活本身的丰富多彩,一切都如此不可思议。我们会深深坠入爱河,也会被深深伤害;我们会对死亡感到极度害怕,当所爱之人离世时,我们会经历巨大的痛苦。
所有这些,整个过程。我知道很难——很难想象AI能做到……一个计算设备能做到这些。但关于这一切,还有太多谜团等待我们去揭开,所以我愿意保持开放,愿意被惊喜。我在过去几个月、几年里已经被惊喜到了很多次。规模化在智能领域能创造出一些不可思议的奇迹,能见证这一切真的很棒,所以我很愿意继续被惊喜。
但真正重要的是要拆解一下什么是智能。你知道,这个词我们一直在用,其实并不是个神秘的词。智能是有定义的,对吧?它是一套系统……是我们所做的一件事,包含感知、理解、推理,以及制定计划的能力。还有,你知道的,那个循环,那个循环,基本上就是智能的本质。智能不是一个等同于“人性”的词。我觉得把这两者区分开真的很重要,我们有两个不同的词来表达。我不会对智能过度幻想,也不会过度浪漫化。
智能就是……大家以前也听我说过,我其实觉得智能是一种商品。我身边全是聪明人,而且在他们各自的领域里,他们都比我聪明。但我在这个圈子里依然有我的角色,这其实挺有意思的。他们受过比我更好的教育,去过比我更好的学校,在各自领域里都比我更深厚。所有人。我有60个这样的人,他们在我看来都像超人一样。但不知怎么的,我却坐在中间,协调着这60个人。所以你得问问自己……呃,到底是什么让一个“洗碗工”能坐在一群超人中间?这说得通吗?但这就是我的观点
智能是一个功能性的东西,而人性不是一个被功能化定义的词,它是一个大得多、大得多的概念。我们的生活体验、对痛苦的承受力、我们的决心,这些词和智能完全不同。所以我想让观众明白,如果我能传递一件事,那就是:智能这个词,是我们随着时间推移赋予极高地位的一个词。
我们真正应该提升的词是“人性”。
品格,人性。
所有这些。
同情、慷慨、你刚才提到的所有那些品质,我认为这些都是超凡的力量。而如今,智能即将被商品化。因为我们已经谈到过,最重要的是你的教育。最……现在,即便他们说最重要的是你的教育,当你去学校时,你获得的不仅仅是知识。然而,不幸的是,我们的社会把一切都浓缩成一个词,而生活远远不止一个词。我只是想告诉你,我的人生经历表明,即使我的智力曲线比周围的人低,这也不妨碍我成为最成功的人。所以,我觉得,这其实是我希望能激励大家的地方——不要让智能的民主化、智能的商品化令你焦虑,你应该因此而受到鼓舞。
是的。我认为AI会帮助我们更加赞美人类。当然是人性和以人为本,我觉得让这个世界如此不可思议的,是人类永远都会如此,而AI只是一个让我们,让人类变得更强大。
完全正确。
嗯,正如我刚才提到的,NVIDIA 的成功,以及数百万人的生活,都与你息息相关。
Chapter 21: Mortality
但你也只是一个普通人,就像我们说的,和我们一样都会死亡。你会思考自己的死亡吗?你害怕死亡吗?
我真的不想死。嗯,我的生活很美好,我有一个很棒的家庭,也有非常重要的工作。这不是一次属于某个人的经历,不是“once in a lifetime experience”(一次人生经历),那意味着很多人都经历过,只是某个人没有。这是一次属于整个人类的经历(once in a humanity experience),是我正在经历的。嗯,NVIDIA是历史上最具影响力的科技公司之一,我们正在做非常重要的工作,我对此非常认真。嗯,所以有些事情当然是很现实的,比如我们如何看待继任计划。而且,我因为说过“不相信继任计划”而出名。
天哪。
之所以这样,不是因为我不死,而是因为如果你一直担心继任计划,如果你总是被继任计划的焦虑困扰,那你该怎么应对呢?
然后你要把一切都拆解到最基础。今天你应该做的最重要的事情,如果你关心公司在你离开之后的未来——就是尽可能频繁且持续地传递知识、信息、洞见、技能和经验。这也是我为什么在团队面前不断推理、思考所有事情的原因。每一次会议都是一次推理会议。
我在公司里、公司外的每一刻都在尽快把知识传递给别人。我学到的任何东西都不会在我的桌上停留超过一瞬间。我会把那些信息、那些知识——哇,这太酷了——还没完全学懂之前,就已经指给别人看了:“赶紧上手,这太酷了,你一定会想学这个。”
所以我一直在传递知识,赋能他人,提升身边每个人的能力,这样我所追求、所期望的结果就是——我会工作到生命终止,你懂吧?希望我能瞬间倒在岗位上,没有漫长的痛苦期。嗯——
从粉丝的角度来看,考虑到你对人类文明极其巨大的正面影响,当然我希望你能一直坚持下去。但其实看英伟达(NVIDIA)做的事情真的很有趣。创新的速度太快了。我是工程的超级粉丝。英伟达持续做着如此多不可思议的工程,这真的很有趣。这是对人类的庆典,对伟大建设者的庆典,对伟大工程的庆典,所以它代表着某种特别的意义。我希望你和英伟达能一直走下去。是什么让你对我们正在做的这一切、对人类、对人类的未来充满希望?当你展望未来、反复思考未来,看到10年、20年、50年、100年后的景象时,是什么让你充满希望?
我一直对人性的善良、慷慨、同情心,以及人类的能力充满信心。我一直非常坚定地相信这些,有时候甚至过于自信。也因此我偶尔会被利用,但这从来不会让我改变。我始终相信,人们是想做好事的,人们是想帮助他人的。绝大多数情况下,我的判断都是对的,而且经常比我预期的还要好。所以我对人类的能力完全有信心。
让我充满希望的是,我眼前所见的,以及我推测出的未来——基于我们正在做的事情,很可能会发生的那些事。我们有太多想要解决的问题,有太多想要建造的东西,有太多想要做的好事——而这些现在都触手可及,甚至在我的有生之年就能实现。你怎么可能不为此心动呢?你懂我的意思吧?
现在活着真是令人激动的时代。真的
怎么能
……真的如此。
怎么能不为此心潮澎湃呢?你想想,现在我们合理地可以期待疾病终结,合理地可以期待污染大幅减少,合理地可以期待以光速旅行真的会出现在我们的未来。当然,不是长距离,但短距离。你知道,有人问我怎么做到。首先,很快我就会把一个类人机器人送上太空,那会是我的类人机器人,我们会尽快把它发射出去,它会在飞行途中不断提升和增强。当时机到来时,我的意识——其实我的人生已经有很大一部分上传到互联网了。把我的收件箱、我做过的一切、我说过的所有话,都收集起来,变成我的AI。到时候,我们就能以光速把这些发送出去,追上我的机器人。
哇,太精彩了。我的意思是,这对我来说有点偏应用层面。但从好奇心——极致探索的角度来看,这里面有太多谜团,太多……令人着迷的科学问题。
对生物机器的理解已经近在咫尺,不是10年,可能就是5年。
接下来就是你的生物机器——人类大脑,以及破解物理学、理论物理的大门。这太令人兴奋了。
如果能解释意识,那将是极其酷的事情。
这些都在我们触手可及的范围内。Jensen,非常感谢你这些年来所做的一切,感谢你为世界所做的一切,感谢你成为你自己。我能感受到你是个很棒的人,祝你今年取得非凡的成功。我已经迫不及待了。作为你的粉丝,我迫不及待想看到你接下来会做什么,希望能在台湾见到你,非常感谢你今天和我交流。
谢谢你,Lex。我聊得非常愉快。另外,如果我还能再说一句。
当然。
也要感谢你做的所有采访,感谢你展现出的深度、尊重,以及你所做的调研,让我们大家都能认识那些了不起的人物。这些年来你采访的嘉宾,我都非常喜欢,也获益匪浅。作为一个创新者,能开创这种长篇对话的形式,真是不可思议,而且极具吸引力。总之,感谢你所做的一切。
这对我意义重大。谢谢你,Jensen。
谢谢你,Lex。
感谢大家收听与Jensen Huang(黄仁勋)的这场对话。
最后,我想用艾伦·凯(Alan Kay)的一句话与大家共勉:“预测未来的最好方法就是去发明它。”(“The best way to predict the future is to invent it.")
感谢收听,期待下次再见。
讨论
登录后可评论、点赞、引用回复。