12月7日凌晨，谷歌（Google）在發(fā)布多模態(tài)大模型Gemini的同時(shí)，還推出了全新的面向云端AI加速的TPU v5p ，這也是谷歌迄今為止功能最強(qiáng)大且最具成本效益的 TPU（云張量處理單元）。
據(jù)介紹，每個 TPU v5p Pod 由多達(dá) 8,960 個芯片組成，使用最高帶寬的芯片間連接（每芯片 4,800 Gbps）進(jìn)行互連，確�？焖賯鬏斔俣群妥罴研阅堋�
在AI性能方面，TPU v5p能夠提供459 teraFLOPS（每秒可執(zhí)行459萬億次浮點(diǎn)運(yùn)算）的bfloat16（16位浮點(diǎn)數(shù)格式）性能或918 teraOPS（每秒可執(zhí)行918萬億次整數(shù)運(yùn)算）的Int8（執(zhí)行8位整數(shù)）性能，支持95GB的高帶寬內(nèi)存，能夠以2.76 TB/s的速度傳輸數(shù)據(jù)。
與TPU v4相比，新發(fā)布的TPU v5p具有兩倍的FLOPS（每秒浮點(diǎn)運(yùn)算）和三倍的高內(nèi)存帶寬提升，這在人工智能領(lǐng)域是令人驚嘆的。
此外，在模型訓(xùn)練方面，TPU v5p 在 LLM（大語言模型）訓(xùn)練速度上顯示出 2.8 倍的代際提升，即使相比TPU v5e也有約50%的提升。Google還擠出更多的計(jì)算能力，因?yàn)?TPU v5p“就每個 Pod 的總可用 FLOP 而言，可擴(kuò)展性比 TPU v4 高 4 倍”。
總結(jié)來說，TPU v5p與 TPU v4 相比：
浮點(diǎn)運(yùn)算次數(shù)增加了 2 倍（459 TFLOPs Bf16 / 918 TOPs INT8）
內(nèi)存容量比 TPU v4 (95 GB HBM) 高出 3 倍
LLM 培訓(xùn)速度提高 2.8 倍
嵌入密集模型訓(xùn)練速度提高 1.9 倍
帶寬增加 2.25 倍（2765 GB/秒 vs 1228 GB/秒）
芯片間互連帶寬是原來的 2 倍（4800 Gbps 與 2400 Gbps）
谷歌已經(jīng)認(rèn)識到在擁有最好的硬件和軟件資源方面取得了明顯的成功，這就是該公司擁有人工智能超級計(jì)算機(jī)的原因，它是一組旨在協(xié)作工作以實(shí)現(xiàn)現(xiàn)代人工智能工作負(fù)載的元素。谷歌集成了性能優(yōu)化計(jì)算、最佳存儲和液體冷卻等功能，以充分利用巨大的功能，輸出的性能確實(shí)是行業(yè)領(lǐng)先。
在軟件方面，Google已經(jīng)加強(qiáng)了使用開放軟件來調(diào)整其人工智能工作負(fù)載，以確保其硬件的最佳性能。
以下是AI Hypercomputer新增軟件資源的概要：
對流行的 ML 框架（例如 JAX、TensorFlow 和 PyTorch）的廣泛支持開箱即用。JAX 和 PyTorch 均由 OpenXLA 編譯器提供支持，用于構(gòu)建復(fù)雜的 LLM。XLA 充當(dāng)基礎(chǔ)骨干，支持創(chuàng)建復(fù)雜的多層模型（使用 PyTorch/XLA 在云 TPU 上進(jìn)行 Llama 2 訓(xùn)練和推理）。它優(yōu)化了各種硬件平臺上的分布式架構(gòu)，確保針對不同的 AI 使用案例進(jìn)行易于使用且高效的模型開發(fā)（AssemblyAI 利用 JAX/XLA 和 Cloud TPU 進(jìn)行大規(guī)模 AI 語音）。
開放且獨(dú)特的多片訓(xùn)練和多主機(jī)推理軟件分別使擴(kuò)展、訓(xùn)練和服務(wù)工作負(fù)載變得順利和簡單。開發(fā)人員可以擴(kuò)展到數(shù)萬個芯片來支持要求苛刻的人工智能工作負(fù)載。
與 Google Kubernetes Engine (GKE) 和 Google Compute Engine 深度集成，提供高效的資源管理、一致的操作環(huán)境、自動擴(kuò)展、節(jié)點(diǎn)池自動配置、自動檢查點(diǎn)、自動恢復(fù)和及時(shí)的故障恢復(fù)。
Google的人工智能革命性方法通過其新的硬件和軟件元素顯而易見，這些元素都將打破限制該行業(yè)的障礙。看看新的 Cloud TPU v5p 處理單元如何與 AI 超計(jì)算機(jī)一起幫助正在進(jìn)行的AI開發(fā)將會很有趣，但有一點(diǎn)是肯定的，它們肯定會加劇競爭。
編輯：芯智訊-浪客劍
