谷歌发布第七代芯片TPU，旨在提升AI推理模型能力

当地时间4月9日，谷歌在美国举行了“Google Cloud Next 25”大会，正式发布了专为AI设计的第七代TPU（Tensor Processing Unit）加速器“Ironwood”，单芯片峰值算力可达4,614 TFLOPs。

谷歌在去年的I/O 2024大会上，刚发布了其第六代TPU “Trilium”。官方表示，相比上一代芯片，第六代TPU的训练性能提升4倍以上，推理吞吐量提升达到3倍，峰值计算性能提升了4.7倍，能效也提升了67%。去年末，第六代TPU正式向Google Cloud客户开放使用。

在各大科技巨头竞相开发自研人工智能芯片的情况下，谷歌也在将其TPU推向第七代。

据介绍，最新的Ironwood是谷歌首款在其张量核和矩阵数学单元中支持 FP8 计算的 TPU，而此前谷歌的 TPU 仅支持用于推理的 INT8 格式和处理以及用于训练的 BF16 格式和处理。

谷歌为Ironwood设计了两种规模配置：面向推理的256芯片集群和面向训练的9216芯片集群。当扩展至最大规模时，总运算能力可达42.5 Exaflops，是当前全球最强超级计算机El Capitan的24倍。这一算力足以支持超大型密集LLM（大型语言模型）或MoE（混合专家模型）的训练与推理，推动AI技术向“思考型”和“推理型”模型演进。

Ironwood还大幅增加高频宽內存（HBM）容量，每颗芯片的HBM容量提高到了192GB，达到了Trillium的6倍，可处理更大型的模型和数据集运算，减少频繁的数据传输需求，同时，HBM带宽也大幅提升，Ironwood单颗芯片的内存带宽可达7.2Tbps，是Trillium的4.5倍，以确保数据快速存取。

谷歌云副总裁阿明·瓦赫达特表示：“Ironwood是我们迄今为止性能最强、功能最全、能效最高的TPU。它专为驱动具备思考能力的AI模型而设计，代表了AI基础设施的重大转变”。

目前，Ironwood已计划于今年晚些时候向Google Cloud客户开放，

谷歌为内部研发和云服务设计自己的人工智能芯片，从而减少了对英伟达的依赖，巩固自身在AI竞赛中的地位。 其竞争对手OpenAI和Meta仍然严重依赖英伟达芯片，来满足日益增长的服务需求。

随着AI芯片竞争的白热化，尽管英伟达仍占据领先地位，但亚马逊、微软等科技巨头也在加速布局自研解决方案。亚马逊拥有AWS Trainium / Inferentia芯片以及Graviton处理器，微软则有Maia 100、Cobalt 100芯片。

另外有报道称，在OpenAI宣布将采用竞争对手Anthropic的AI 模型连接数据系统标准后，谷歌也迅速跟进。

谷歌 DeepMind 首席执行官德米斯・哈萨比斯（Demis Hassabis）本周三在 X 平台上发布消息，称谷歌将为其 Gemini 模型和软件开发工具包（SDK）添加对 Anthropic 的模型上下文协议（Model Context Protocol，MCP）的支持，不过他并未给出具体的时间表。