对话传奇架构师吉姆·凯勒：CPU 和 AI 领域的开源潮流

当开源的力量和传奇芯片架构师吉姆·凯勒（Jim Keller）资深的半导体经验结合起来时，一定会发生一些有趣的事情。这正是 AI 初创公司和现在的 CPU 制造商 Tenstorrent 的计划。

Tenstorrent 由 Ljubisa Bajic、Milos Trajkovic 和 Ivan Hamer 于 2016 年创立，总部位于多伦多。凯勒从一开始就是天使投资人和公司的顾问，在英特尔的服务器业务工作一段时间后，他于 2021 年 1 月被任命为首席技术官，在那里他清理了一些架构和流程混乱，就像他在 AMD 之前的工作一样。

今年 1 月，凯勒被任命接替 Bajic 担任首席执行官，该公司今天宣布将在 D 轮融资中筹集 1.2 亿至 1.5 亿美元，现代汽车集团和三星 Catalyst 基金领投本轮融资由之前的投资者 Fidelity Ventures、Eclipse Ventures、Epiq Capital、Maverick Capital 和其他投资者参与。迄今为止，这将是超过 3.845 亿美元的投资资金，并可能将其估值提升到 14 亿美元以上。

这些投资将让 Tenstorrent 团队创建一系列商业级 RISC-V 服务器处理器和 AI 加速器。如果想挑战英伟达 GPU 在 AI 训练中的霸主地位，或许需要更多资金。凯勒认为他拥有合适的团队来完成这项任务，以下这位传奇架构师对于 CPU 和 AI 的一些看法。

为什么世界需要另一个人工智能加速器？GPU 市场已经有很多不同的公司参与其中。Tenstorrent 正在做的事情有哪些不同、更好的地方？是什么在推动您，为什么？

吉姆·凯勒：世界憎恶垄断。首先，每当出现大的炒作周期时，获得投资的人都会超出该行业适当支持的范围。Tenstorrent 的联合创始人之一 Ljubisa Bajic 和我聊了很长时间，因为当时 SambaNova 和 Cerebras 的估值非常高。所以他们筹集了很多钱，他们开始花很多钱，而我们却做了相反的事情。上次融资后我们的估值为 10 亿美元，并且我们以更高的估值获得了更多资金。然后我们想：然后呢？像其他人一样陷入困境？这对你们公司来说真的很困难。就像这会让你的员工和投资者都陷入困境。因此，我们以较低的估值筹集了较少的资金，因为我们是长期投资的。

我不认为 GPU 是运行人工智能程序的全部。每个描述人工智能程序的人都会描述一个图表，并且需要通过有趣的软件转换来降低该图表并将其映射到硬件。由于多种原因，事实证明这个过程比想象的要困难得多。但我觉得我们确实在这方面取得了真正的进展。因此，我们可以制造出高性能、运行良好且可扩展的人工智能计算机。

另一件事是我们开始构建 RISC-V——Tenstorrernt 对此进行了长时间的讨论——我们认为未来市场将主要是人工智能。通用 CPU 和 AI 处理器以及程序和软件堆栈之间将会进行交互，并且它们将位于同一芯片上。然后这个领域将会有很多创新。我与 Arm 沟通，说我们想要获得它的许可，但它太贵了。因此我们决定打造自己的 RISC-V 处理器。

当我们告诉客户这件事时，我们有点惊讶人们确实想要独立许可 RISC-V 处理器。然后我们还发现，一些对 RISC-V 感兴趣的人也对我们的 AI 知识产权感兴趣。英伟达、AMD、Habana 等公司并没有将他们的 IP 授权给任何人。所以人们来找我们，他们告诉我们，如果我们能证明我们的 CPU 或 AI 加速器工作，证明是可以运行的芯片，那么他们有兴趣授权 IP，包括 CPU 和 AI 加速器，去构建自己的产品。

构建自己的产品的一个很酷的事情是，您可以拥有并控制它，而不用向其他人支付 60% 或 80% 的毛利率。因此，当人们告诉我们英伟达已经赢得了市场，为什么 Tenstorrent 会参与竞争时，我回答只要存在利润率极高的垄断，就会创造商机。

但是这种利润不仅吸引了竞争，还会助长竞争。

吉姆·凯勒：在现实世界中，实际毛利率总是介于两者之间。如果你的比例远低于 10%，你将很难赚到钱；如果你的比例超过 50%，你就会面临竞争。

然后是所有这一切的开源角度。开源的一个优势是人们可以做出贡献。然后他们也有机会拥有它，或者复制它并做有趣的事情。硬件的生产成本很高，流片也很困难。但有相当多的人构建自己的芯片，他们想要去做一些事情。

我认为，未来我们将用人工智能生成越来越多的代码，然后人工智能程序是通用计算和人工智能计算之间的交互，这将创造一个全新的创新浪潮。人工智能相当独特，因为它的模型和框架十分开放——然后它在非常专有的硬件上运行。

当创建 RISC-V 处理器时，它的许可模式是什么？

吉姆·凯勒：RISC-V 是一种开源架构，我们有人为该架构定义作出贡献。参考模型是开源的，编写 Whisper 指令集模拟器的人为我们工作。我们创建了一个向量单元并做出了贡献。我们构建了向量单元的 RTL 版本，然后将其开源。我们与一群学生交谈，他们说基础设施很好，但我们需要更多的测试基础设施。因此，我们正在致力于开源 RTL 验证基础设施。

RISC-V 现在拥有大学计算机体系结构研究中心。这是事实，默认的东西。我们的 AI 处理器内部有一个 RISC-V 引擎，我们一直在尝试弄清楚如何开源 RISC-V AI 处理器。学生希望能够做实验；他们希望能够下载一些东西，模拟它，进行修改，尝试并改变它。因此，我们的引擎上有一个软件堆栈，我们正在整理它，以便我们可以在今年将它开源。

开源的一个很大的特点是，一旦人们开始做它并为它做出贡献，它就会成长。

我和很多人工智能公司谈过，当我在特斯拉时，我看到了很多引擎。二十家公司将有 50 名员工工作两年，打造与其他 19 家公司完全相同的产品。如果这是开源开发，那么进展会快得多。

一些开源的东西，比如 PyTorch，已经开放了一段时间了，但是项目运行的方式并不好，但是 PyTorch 2.0 修复了这个问题。TVM 是开源的——我们使用它，它实际上非常好。我们将看看 Chris Lattner 的公司 Modular AI 和 Mojo 编程语言会发生什么。他说他将开源 Mojo，它可以进行额外的软件编译器转换。但我们并没有一个明确的目标来驱动某些东西。所以我今天只是和我的同事们讨论如何清理我们的参考模型，并使之成为人们可以为其增加价值的良好开源人工智能引擎参考模型？

再一次，我认为我们正处于人工智能硬件构建的早期阶段。

Tenstorrent 的收入模式是什么？

吉姆·凯勒：我们制造硬件。最初的想法是我们要构建这个出色的硬件。去年，我们的前十个模型开始工作。我们原以为我们有可能开发出 30 到 50 个模型，但我们有点陷入停滞。因此，我们决定重构代码——我们对软件堆栈进行了两次主要重写。我们现在正在让一些客户使用我们构建的硬件。我们与 LG 一起发布了公告，我们还有更多的人工智能公司正在筹备中。然后我们做了这个 RISC-V CPU，这是非常高端的。SiFive 是一家不错的公司，但他们的项目处于中间位置，Ventana 比这稍高一些。人们不断告诉我们：我们想要一个非常高端的 CPU。因此，我们正在构建一个非常高端的 CPU，并且我们正在与十个组织讨论以获得许可。

我们是一家设计公司。我们设计 CPU，我们设计人工智能引擎，我们设计人工智能软件堆栈。因此，无论是软 IP、硬 IP 小芯片还是完整芯片，这些都是产品。我们在这方面很灵活。例如，在 CPU 上，我们将在我们自己的小芯片流片之前对其进行多次许可。我们正在与六家想要从事定制内存芯片或 NPU 加速器等业务的公司进行交谈。我认为对于我们的下一代，无论是 CPU 还是 AI，我们将构建 CPU 和 AI 小芯片。但随后其他人会做其他的小芯片。然后我们会将它们整合到系统中。

我们建立了一个小型云，我们在云中拥有 1000 个 AI 芯片。当我们刚开始时，我们只是将芯片放入服务器中并为人们提供访问权限。这真的很容易。可以运行 Linux，也可以使用裸机。

像 Cerebras 和 SambaNova 这样的公司，他们确实正在成为云供应商或特定云供应商的供应商，寻找利基市场，同时也是一种比英伟达的 GPU 更便宜、更容易完成 AI 的方法。根计算，训练下一代人工智能模型似乎需要大约 10 亿美元，而这笔钱必须来自某个地方，或者必须找到一种更便宜的方法。

吉姆·凯勒：我们与人工智能软件初创公司交谈，问他们是否可以在云上尝试一下。随着公司规模的扩大，这些公司开始意识到，在云上运行人工智能的费用是自己的数据中心的 3 倍或更多——这取决于你买什么以及你的摊销时间是多少。这是一个很高的费用。

如果我们设计出一款引人注目的 CPU 和 AI 加速器，那么就有多种进入市场的渠道：IP、小芯片、芯片、系统和云。关键点是，能否建立一个业务，建立一个工程团队，筹集资金并产生收入。我们的投资者说，不需要我们赚十亿美元，而是需要出售价值数千万美元的东西，以表明客户愿意为此付费。这就是我们现在的使命。

使用 Tenstorrent 芯片可以将 AI 训练成本降低多少？

吉姆·凯勒：我们的目标是比类似性能的 GPU 系统便宜 5 到 10 倍。这有一些技术原因。我们使用的内存带宽要少得多，因为我们有一个图形编译器，而且我们的架构比 GPU 更像是一台数据流机器，因此我们可以将数据从一个处理元素发送到另一个处理元素。一旦使用 HBM 硅中介层，它就会变得非常昂贵。

我们的芯片上有网络端口，因此我们可以将它们以大型阵列的形式连接在一起，而无需通过其他人的交换机。从技术上讲，这就是我们的方法比英伟达的方法更便宜的原因之一。

如果有人来找我，他们想要获得我们技术的许可，以便他们可以修改它并构建自己的产品，我认为这是一个好主意，因为我认为当更多的人能够接受可靠的东西时，创新就会加速，然后继续努力。我相信我们会向任何合作伙伴学习。