谷歌推出推理神器!第七代TPU芯片性能大升级

  4 月 10 日消息,在本周举行的 Cloud Next 大会上,谷歌推出最新一代 TPU AI 加速芯片。

  这款名为 Ironwood 的芯片是谷歌第七代 TPU,同时也是首款专为人工智能推理优化的芯片产品。Ironwood 预计将在今年晚些时候向 Google Cloud 客户开放,提供 256 芯片集群和9,216 芯片集群两种配置。

  谷歌云副总裁阿明·瓦赫达特(Amin Vahdat)在博客文章中写道:“Ironwood 是我们迄今为止性能最强、功能最全、能效最高的 TPU。它专为大规模驱动具备思考能力的推理型 AI 模型而打造。”

  Ironwood 的发布正值人工智能加速器领域竞争日趋激烈之际。虽然英伟达暂居领先地位,但亚马逊和微软等科技巨头正在大力推动自研解决方案。亚马逊通过 AWS 提供训练专用芯片 Trainium、推理芯片 Inferentia 和通用处理器 Graviton,微软则为 Azure 云平台部署了 Maia 100 人工智能芯片。

  根据谷歌内部基准测试,Ironwood 峰值计算能力达到4,614 万亿次浮点运算/秒(TFLOPs)。每颗芯片配备 192GB 专用内存,带宽接近 7.4 太比特/秒(Tbps)。

  Ironwood 还搭载增强版专用核心 SparseCore,用于处理“高级排序”和“推荐”任务中常见的数据类型(例如推荐用户可能喜欢的服饰)。谷歌表示,该 TPU 架构通过最小化芯片内数据移动和延迟来实现节能。

  瓦赫达特补充称,谷歌计划近期将 Ironwood 整合到谷歌云中的模块化计算集群。

  “在推理计算时代,Ironwood 实现了计算能力、内存容量、网络技术进步及可靠性的独特突破。”瓦赫达特表示。(辰辰)