黄仁勋：水管工和电工。这就是我对那些描述工作终结和职业消亡的末日论者感到担忧的原因之一。如果我们劝阻人们成为软件工程师，我们就会面临软件工程师短缺的问题。十年前也出现过同样的预测。一些末日论者告诫人们：“无论如何，千万别当放射科医生。”你可能还会在网上看到一些这样的视频，说放射科医生将是第一个消失的职业，世界将不再需要更多的放射科医生。猜猜我们现在缺什么？放射科医生。

Q：回到之前关于有些东西可以规模化生产，而有些东西却不行这一点……你究竟如何才能每年生产两倍的逻辑电路？归根结底，存储器和逻辑电路的瓶颈都在于极紫外光刻（EUV）。你如何才能逐年获得两倍的极紫外光刻设备？

黄仁勋：这些都不是无法快速扩展的。所有这些都可以在两三年内轻松实现。你只需要一个需求信号。一旦你能造出一个，你就能造出十个；一旦你能造出十个，你就能造出一百万个。这些都不难复制。

Q：你会追溯到供应链的哪个环节？你会去找ASML说：“嘿，如果我展望三年后，英伟达的年收入达到两万亿美元，我们需要更多的EUV光刻机”吗？

黄仁勋：有些我必须直接说服，有些需要间接，还有一些……如果我能说服台积电，ASML也会被说服。我们必须考虑关键的瓶颈。但如果台积电被说服了，几年后你们就会有很多EUV光刻机可用了。

我的意思是，所有瓶颈都不会持续超过两三年，一个都不会。与此同时，我们的计算效率提高了10倍、20倍，以Hopper到Blackwell为例，甚至提高了30倍到50倍。由于CUDA的灵活性，我们不断开发新的算法。我们正在开发各种新技术，以提高效率，同时提升产能。这些我都不担心。真正让我担忧的是下游的问题。那些阻碍能源发展的能源政策……没有能源，就无法建立任何产业。没有能源，就无法建立一个全新的制造业。

我们希望重振美国工业。我们希望恢复芯片制造、计算机制造和封装产业。我们希望研发电动汽车和机器人等新产品。我们希望建设人工智能工厂。所有这些都离不开能源，而且这些项目都需要很长时间。增加芯片产能，这需要两到三年的时间。增加CoWoS产能，也需要两到三年的时间。

Q：有意思。我感觉有时候客人会跟我说完全相反的话。这种情况下，我确实缺乏相关的专业知识来判断。

黄仁勋：最妙的是，你是在和专家对话。

TPU能否打破英伟达在 AI 计算领域的垄断地位？

Q：我想问问你们的竞争对手。如果你看看TPU ，可以说全球排名前三的模型中，有两款——Claude和Gemini——都是用TPU训练的。这对英伟达未来的发展意味着什么？

黄仁勋：我们打造的是截然不同的东西。英伟达打造的是加速计算，而不是张量处理单元。加速计算的应用范围非常广泛：分子动力学、量子色动力学、数据处理、数据帧、结构化数据和非结构化数据。它也用于流体动力学和粒子物理学。此外，我们还将其应用于人工智能领域。

加速计算的范畴远比这广泛得多。虽然人工智能是当今的热门话题，而且显然非常重要且影响深远，但计算的范畴远不止于此。英伟达彻底革新了计算方式，从通用计算转向加速计算。我们的市场覆盖范围远远超过任何TPU或ASIC芯片所能企及的范围。从我们的市场地位来看，我们是唯一一家能够加速所有类型应用程序的公司。我们拥有庞大的生态系统。因此，各种框架和算法都可以在英伟达平台上运行。

因为我们的计算机设计之初就考虑到了由他人操作，所以任何具备操作能力的人都可以购买我们的系统。而大多数自建系统则需要用户自行操作，因为它们的设计初衷并非为了方便他人操作。由于任何人都可以操作我们的系统，因此我们的产品已部署在包括 Google、Amazon、Azure 和 OCI 在内的所有云平台上。

如果您想以租赁方式运营，最好拥有一个涵盖多个行业的庞大客户生态系统，以便他们成为承购方。如果您想自行运营，我们当然有能力帮助您，就像我们之前为埃隆·马斯克提供的 xAI 服务一样。而且，由于我们能够赋能任何公司和任何行业的运营者，您可以利用这项技术为礼来公司构建一台用于科学研究和药物研发的超级计算机。我们可以帮助他们运营自己的超级计算机，并将其用于我们所加速的各个药物研发和生物科学领域。

我们能够解决很多TPU无法解决的应用问题。英伟达打造CUDA的目的不仅在于使其成为一个出色的张量处理单元，它还能处理数据处理、计算、人工智能等各个生命周期。我们的市场机会更大，覆盖范围也更广。因为我们现在支持全球所有应用，所以无论你在哪里构建英伟达系统，都无需担心找不到客户。这完全是两码事。

Q：这将是一个很长的问题。你们的营收非常惊人，但你们每季度600亿美元的收入并非来自制药和量子计算领域。你们之所以能做到这一点，是因为人工智能是一项前所未有的技术，而且它正以前所未有的速度发展。

那么问题就变成了：哪种方案最适合人工智能？我不太了解细节，但我跟我的人工智能研究朋友聊过，他们说：“你看，我用TPU的时候，它是一个大型的脉动阵列，非常适合做矩阵乘法，而GPU则非常灵活。当你需要处理大量分支或不规则的内存访问时，它就非常棒。”

但人工智能究竟是什么？它不过是不断重复进行这些非常可预测的矩阵乘法运算。你无需为线程束调度器或线程与内存库之间的切换而牺牲任何芯片面积。而且，TPU 针对当前计算领域收入增长和应用场景的大量需求进行了优化。我想知道你对此有何看法。

黄仁勋：矩阵乘法是人工智能的重要组成部分，但并非全部。如果你想提出新的注意力机制、以不同的方式进行分解，或者发明一种全新的架构——例如混合SSM——你需要一个通用的可编程架构。如果你想创建一个融合扩散和自回归技术的模型，你同样需要一个通用的可编程架构。我们几乎可以运行你所能想象的一切。这就是它的优势所在。由于它是一个可编程系统，因此可以更轻松地发明新的算法。

人工智能之所以能如此快速发展，真正的原因在于其不断发明新算法的能力。与其他任何事物一样，TPU（技术处理单元）也受到摩尔定律的影响，而摩尔定律的年增长率约为25%。要想真正实现10倍甚至100倍的飞跃，唯一的办法就是每年从根本上改变算法及其计算方式。

这就是英伟达的根本优势。我们之所以能让 Blackwell 的能效比 Hopper 高出 50 倍，唯一的原因是……当初我宣布 Blackwell 的能效将比 Hopper 高出 35 倍时，没人相信。后来Dylan写了篇文章说我故意隐瞒，但实际上能效是 Hopper 的 50 倍。单凭摩尔定律是无法实现这一点的。我们解决这个问题的方法是采用新的模型，例如MoE（模块化执行单元），这些模型可以并行化、解耦并分布在整个计算系统中。如果没有能力真正深入研究并利用 CUDA 开发新的内核，这一切都很难做到。

这得益于我们架构的可编程性，以及英伟达作为一家极致的协同设计公司的优势。我们甚至可以将部分计算任务卸载到架构本身（例如NVLink ）或网络（例如Spectrum-X）中。我们可以同时对处理器、系统、架构、库和算法进行更改。如果没有 CUDA，我真不知道该从何入手。

Q：这引出了一个关于英伟达客户群的有趣问题。你们60%的收入都来自五大超大规模数据中心运营商。如果换个时代，面对不同的客户群体——比如说进行实验的教授——他们需要CUDA。他们无法使用其他加速器。他们只需要用CUDA运行PyTorch ，并且所有功能都得到优化。

但这些超大规模数据中心运营商拥有编写自有内核的资源。事实上，为了获得其特定架构所需的最后 5% 的性能提升，他们必须这样做。Anthropic 和 Google 大多运行着自己的加速器，或者使用 TPU 和Trainium 。即使是使用 GPU 的 OpenAI，也使用Triton ，因为他们需要自己的内核。甚至在 CUDA C++ 方面，他们也没有使用cuBLAS和NCCL ，而是拥有自己的技术栈，该技术栈还可以编译到其他加速器上。如果你的大多数客户能够并且确实找到了 CUDA 的替代方案，那么 CUDA 在多大程度上真的能够推动 Nvidia 平台上的前沿 AI 应用？

黄仁勋：CUDA 拥有丰富的生态系统。如果您想先在任何计算机上进行构建，那么首先基于 CUDA 进行构建是非常明智的选择。正因为其生态系统如此丰富，我们才能支持所有框架。如果您想创建自定义内核……例如，我们为 Triton 做出了巨大贡献。因此，Triton 的后端使用了大量的 Nvidia 技术。

我们很高兴能够帮助每个框架发挥其最大潜力。框架种类繁多，例如Triton、vLLM 、SGLang等等。现在又涌现出许多新的强化学习框架，例如verl和NeMo RL 。随着训练后处理和强化学习的不断发展，整个领域正经历着爆炸式增长。因此，如果您想基于某个架构进行开发，那么基于 CUDA 无疑是最佳选择，因为 CUDA 的生态系统非常完善。

你知道，如果出了问题，更有可能出在你的代码里，而不是底层那堆积如山的代码里。构建这些系统时，别忘了你要处理的代码量有多大。如果出了问题，是你的问题还是电脑的问题？你肯定希望问题总是出在你身上，并且能够信任电脑。当然，我们自己也存在很多 bug，但我们的系统已经过充分测试，至少你可以在这个基础上继续开发。这就是第一点：生态系统的丰富性、可编程性和强大功能。

第二点是，如果你是一名开发者，无论开发什么软件，你最看重的就是用户基数。你希望你编写的软件能够在大量的其他计算机上运行。你开发软件并非仅仅为了自己，而是为了你的服务器群，或者其他所有人的服务器群，因为你是一名框架构建者。英伟达的 CUDA 生态系统最终是其最大的财富。

现在市面上已经有数亿个GPU。每个云平台都配备了GPU。从A10 、A100 、H100 、H200 ，到L系列、P系列等等，种类繁多，尺寸和形状也各不相同。如果你是一家机器人公司，你肯定希望CUDA协议栈能够直接在机器人上运行。我们的产品几乎无处不在。庞大的用户群意味着，一旦你开发出软件或模型，它就能在任何地方使用。这简直太有价值了。

最后，我们能够覆盖所有云平台，这使我们真正独树一帜。如果您是一家人工智能公司或开发者，您可能并不确定应该与哪家云服务提供商合作，或者在哪里运行。我们几乎可以在任何地方运行，如果您愿意，我们也可以为您提供本地部署服务。丰富的生态系统、庞大的用户群以及我们灵活的部署方式，共同造就了 CUDA 的无可比拟的价值。

Q：这很有道理。我好奇的是，这些优势对你的主要客户来说是否重要。对很多人来说，这些优势可能很重要。能够构建自己软件栈的那类人贡献了你的大部分收入。尤其是在人工智能越来越擅长那些具有严格验证循环、可以进行强化学习的领域……如何编写一个内核，使其在规模化应用中能够最高效地处理注意力机制或多层感知器（MLP）？这是一个非常容易验证的反馈循环。

所有超大规模数据中心运营商都能自行编写这些定制内核吗？英伟达的性价比依然很高，所以他们可能仍然更倾向于使用英伟达的产品。但问题在于，最终会不会演变成谁能以最低的价格提供最佳的规格、浮点运算能力和内存带宽？历史上，英伟达凭借CUDA的护城河，在人工智能领域（包括硬件和软件）一直保持着最高的利润率，高达70%。而问题是，如果大多数客户能够负担得起自行构建，而不是依赖CUDA的护城河，英伟达还能维持这样的利润率吗？

黄仁勋：我们为这些人工智能实验室配备了数量惊人的工程师，他们与这些实验室合作，优化他们的技术栈。原因在于，没有人比我们更了解我们的架构。这些架构不像CPU那样通用。CPU有点像凯迪拉克，它是一款舒适的巡航车，速度不会太快，每个人都能轻松驾驭。它配备了巡航控制，一切都很简单。但在很多方面，英伟达的GPU和加速器就像F1赛车。我估计每个人都能以每小时一百英里的速度驾驶它，但要将其性能发挥到极致，则需要相当丰富的专业知识。我们运用了大量的人工智能技术来创建我们的内核。

我非常肯定，在相当长的一段时间内，我们仍然会被需要。我们的专业知识通常能帮助我们的人工智能实验室合作伙伴轻松地将他们的技术栈性能提升两倍。我们完成技术栈优化或特定内核优化后，他们的模型速度提升三倍、两倍甚至五成的情况并不少见。这是一个巨大的数字，尤其考虑到他们庞大的设备基数，包括他们所有的 Hopper 和 Blackwell 等计算单元。性能提升一倍，收入也会翻倍。这直接转化为实际收益。

英伟达的计算堆栈是全球性价比最高的，没有之一。目前世界上没有任何一个平台能证明它的性能/总拥有成本比更高。没有一家公司能做到。事实上，现有的基准测试，比如Dylan的InferenceMAX ，人人都能用，但没有任何一家公司能做到……TPU不会推出，Trainium也不会推出。

我鼓励他们使用 InferenceMAX 来展示他们惊人的推理成本。这真的很难。没人愿意来。MLPerf 。我倒是很想听听 Trainium 展示一下他们一直声称的 40% 的成本优势。我很想听听他们如何证明 TPU 的成本优势。在我看来，这完全说不通。一点道理都没有。从根本上来说，这根本说不通。

所以我认为我们如此成功的原因很简单，就是我们的总体拥有成本 (TCO) 非常低。其次，您提到我们 60% 的客户是前五大企业，但其中大部分业务都是外部业务。例如，AWS 上的英伟达产品大部分是为外部客户而非内部用户提供的。Azure 上的所有客户也都是外部客户。OCI 上的所有客户也都是外部客户，而非内部用户。他们之所以青睐我们，是因为我们的覆盖范围非常广。我们可以为他们带来全球所有优秀的客户。这些客户都基于英伟达的产品。而所有这些公司之所以都基于英伟达的产品，正是因为我们覆盖范围广、功能多样。

所以我认为真正的飞轮效应在于用户基数、我们架构的可编程性、我们生态系统的丰富性，以及全球人工智能公司数量众多这一事实。现在有成千上万家人工智能公司。如果你是其中一家人工智能初创公司，你会选择哪种架构？你会选择最普及的架构。而我们的架构是全球最普及的。你会选择用户基数最大的架构。而我们的用户基数最大。你还会选择拥有丰富生态系统的架构。

这就是飞轮效应。原因在于：首先，我们的每美元性能如此之高，以至于他们的tokens成本最低。其次，我们的每瓦性能是全球最高的。因此，如果我们的合作伙伴建造了一个1吉瓦的数据中心，那么这个1吉瓦的数据中心必须能够产生最大的收益和tokens数量，这直接转化为收入。您希望它产生尽可能多的代币，从而最大化数据中心的收益。我们拥有全球最高的每瓦代币产量架构。最后，如果您的目标是租用基础设施，我们拥有全球最多的客户。这就是飞轮效应发挥作用的原因。

Q：有意思。我想问题的关键在于，实际的市场结构究竟如何？因为即便还有其他公司……原本可能存在成千上万家人工智能公司，它们大致平分计算资源。但即便通过这五家超大规模数据中心，真正使用亚马逊计算资源的仍然是 Anthropologie、OpenAI 以及那些有能力且能够自行部署不同加速器的大型基金会实验室。

黄仁勋：不，我认为你的前提是错误的。

Q：也许吧。不过，我想问你一个稍微不同的问题。如果价格、性能、每瓦性能等等这些说法都是真的，那么你认为为什么像 Anthropic 这样的公司会在几天前宣布他们与 Broadcom 和 Google 达成了一项数吉瓦的 TPU 协议，用于他们的大部分计算呢？

显然，对谷歌来说，TPU占据了大部分计算资源。所以，如果我观察这些大型人工智能公司，会发现它们的很多计算资源……曾经有一段时间它们都依赖英伟达的加速器，但现在情况并非如此。因此，我很好奇，如果这些说法在理论上成立，它们为什么会选择其他加速器呢？

黄仁勋：Anthropic 是一个特例，而非一种趋势。如果没有 Anthropic，TPU 又怎会增长？它完全是 Anthropic 的功劳。如果没有 Anthropic，Trainium 又怎会增长？它也完全是 Anthropic 的功劳。我认为这一点已广为人知。ASIC 的机会并不多，Anthropic 只有一个。

Q：但OpenAI 与 AMD 达成了协议……他们正在打造自己的Titan加速器。

黄仁勋：是的，但我想我们都应该承认，它们很大程度上是英伟达的竞品。我们仍然会继续合作。我不介意其他人使用其他产品或尝试其他技术。如果他们不去尝试，又怎么知道我们的产品有多好呢？有时候，我们需要有人提醒自己这一点。我们必须不断地努力才能保住现在的地位。

总是有很多夸张的说法。看看有多少ASIC项目被取消就知道了。就算你打算造ASIC……你还得造出比英伟达更好的产品。造出比英伟达更好的产品可没那么容易。实际上，这根本不现实。英伟达肯定漏掉了什么，真的。因为我们的规模和速度，我们是世界上唯一一家每年都能持续产出新产品的公司。每年都有巨大的飞跃。

Q：我猜他们的逻辑是，“嘿，它不需要更好。它只需要比原来的差不超过70%就行了”，因为他们付给你的是70%的利润率。

黄仁勋：不，别忘了，即使是ASIC芯片，利润率也相当高。比如说，英伟达的利润率是70%。但ASIC芯片的利润率只有65%。你到底能省多少钱？

Q：哦，你是说博通之类的公司吗？

黄仁勋：当然，总得付钱给别人吧。就我所知，ASIC的利润率非常高。他们自己也这么认为，而且他们对ASIC惊人的利润率相当自豪。

所以，你问了为什么。很久以前，我们确实没有能力做到这一点。当时，我并没有深刻意识到建立像 OpenAI 和 Anthropic 那样的基础性人工智能实验室有多么困难，也没有意识到他们需要供应商投入巨资。我们当时根本无力向 Anthropic 投资数十亿美元，让他们使用我们的计算资源。但谷歌和 AWS 有。他们一开始就投入了巨资，作为回报，Anthropic 可以使用他们的计算资源。而我们当时确实没有能力做到这一点。

我觉得我的错误在于，我没有真正理解他们其实别无选择，风险投资家绝不会把50亿到100亿美元投资到一个人工智能实验室，指望它能像Anthropic那样成功。所以这是我的失误。但即便我当时理解了这一点，我想我们当时也没有能力这么做。但我不会再犯同样的错误了。

我很高兴能投资 OpenAI，也很高兴能帮助他们扩大规模，而且我认为这样做至关重要。后来，当 Anthropic 找到我们时，我也很高兴能成为他们的投资者，帮助他们扩大规模。只是当时我们力不从心。如果一切可以重来——如果英伟达当时就能达到现在的规模——我绝对会非常乐意这么做。

为什么英伟达不成为超大规模数据中心运营商？

Q：这确实很有意思。多年来，英伟达一直是人工智能领域最赚钱的公司，赚了很多钱。现在你们开始投资人工智能了。据报道，你们在OpenAI投资了高达300亿美元，在Anthropic投资了100亿美元。现在它们的估值都提高了，我相信还会继续增长。

所以，如果你这些年来一直为他们提供计算资源，并且预见到它的发展方向，而几年前——甚至在某些情况下，一年前——他们的价值只有现在的十分之一，而你又手握大量现金——那么，英伟达完全可以转型为基金会实验室，进行巨额投资来实现这一目标，或者更早地以现在的估值完成你现在达成的这些交易。而且你当时也有足够的资金这样做。所以我很想知道，为什么你没有更早地这样做呢？

黄仁勋：我们尽早完成了这件事。如果可以，我甚至会更早去做。当时Anthropic需要我们做这件事的时候，我们却无能为力。这样做也不符合我们的本性。

Q：怎么会这样？是现金交易之类的吗？

黄仁勋：是的，投资规模的问题。当时我们从未在公司外部投资过，而且投资额也不大。我们当时没意识到需要投资。我一直以为他们可以像其他公司一样，直接去风投那里融资，我的天哪。但他们想做的事情，风投是做不到的。OpenAI想做的事情，风投是做不到的。我现在明白了。当时我并不知道。

但这就是他们的过人之处。这就是他们聪明的原因。他们当时意识到自己必须做这样的事。我很高兴他们这么做了。尽管我们导致Anthropic不得不转投他人，但我仍然为此感到高兴。Anthropic的存在对世界意义重大。我为此感到欣慰。