英偉達(dá)老黃，帶著新一代GPU芯片H200再次炸場。

官網(wǎng)毫不客氣就直說了，“世界最強(qiáng)GPU，專為AI和超算打造”。

聽說所有AI公司都抱怨內(nèi)存不夠？

這回直接141GB大內(nèi)存，與H100的80GB相比直接提升76%。

作為首款搭載HBM3e內(nèi)存的GPU，內(nèi)存帶寬也從3.35TB/s提升至4.8TB/s，提升43%。

對于AI來說意味著什么？來看測試數(shù)據(jù)。

在HBM3e加持下，H200讓Llama-70B推理性能幾乎翻倍，運(yùn)行GPT3-175B也能提高60%。

對AI公司來說還有一個好消息：

H200與H100完全兼容，意味著將H200添加到已有系統(tǒng)中不需要做任何調(diào)整。

最強(qiáng)AI芯片只能當(dāng)半年

除內(nèi)存大升級之外，H200與同屬Hopper架構(gòu)的H100相比其他方面基本一致。

臺積電4nm工藝，800億晶體管，NVLink 4每秒900GB的高速互聯(lián)，都被完整繼承下來。

甚至峰值算力也保持不變，數(shù)據(jù)一眼看過去，還是熟悉的FP64 Vector 33.5TFlops、FP64 Tensor 66.9TFlops。

對于內(nèi)存為何是有零有整的141GB，AnandTech分析HBM3e內(nèi)存本身的物理容量為144GB，由6個24GB的堆棧組成。

出于量產(chǎn)原因，英偉達(dá)保留了一小部分作為冗余，以提高良品率。

僅靠升級內(nèi)存，與2020年發(fā)布的A100相比，H200就在GPT-3 175B的推理上加速足足18倍。

H200預(yù)計在2024年第2季度上市，但最強(qiáng)AI芯片的名號H200只能擁有半年。

同樣在2024年的第4季度，基于下一代Blackwell架構(gòu)的B100也將問世，具體性能還未知，圖表暗示了會是指數(shù)級增長。

多家超算中心將部署GH200超算節(jié)點

除了H200芯片本身，英偉達(dá)此次還發(fā)布了由其組成的一系列集群產(chǎn)品。

首先是HGX H200平臺，它是將8塊H200搭載到HGX載板上，總顯存達(dá)到了1.1TB，8位浮點運(yùn)算速度超過32P（10^15) FLOPS，與H100數(shù)據(jù)一致。

HGX使用了英偉達(dá)的NVLink和NVSwitch高速互聯(lián)技術(shù)，可以以最高性能運(yùn)行各種應(yīng)用負(fù)載，包括175B大模型的訓(xùn)練和推理。

HGX板的獨(dú)立性質(zhì)使其能夠插入合適的主機(jī)系統(tǒng)，從而允許使用者定制其高端服務(wù)器的非GPU部分。

接下來是Quad GH200超算節(jié)點——它由4個GH200組成，而GH200是H200與Grace CPU組合而成的。

Quad GH200節(jié)點將提供288 Arm CPU內(nèi)核和總計2.3TB的高速內(nèi)存。

通過大量超算節(jié)點的組合，H200最終將構(gòu)成龐大的超級計算機(jī)，一些超級計算中心已經(jīng)宣布正在向其超算設(shè)備中集成GH200系統(tǒng)。

據(jù)英偉達(dá)官宣，德國尤利希超級計算中心將在Jupiter超級計算機(jī)使用GH200超級芯片，包含的GH200節(jié)點數(shù)量達(dá)到了24000塊，功率為18.2兆瓦，相當(dāng)于每小時消耗18000多度電。

該系統(tǒng)計劃于2024年安裝，一旦上線，Jupiter將成為迄今為止宣布的最大的基于Hopper的超級計算機(jī)。

Jupiter大約將擁有93(10^18) FLOPS的AI算力、1E FLOPS的FP64運(yùn)算速率、1.2PB每秒的帶寬，以及10.9PB的LPDDR5X和另外2.2PB的HBM3內(nèi)存。

除了Jupiter，日本先進(jìn)高性能計算聯(lián)合中心、德克薩斯高級計算中心、伊利諾伊大學(xué)香檳分校國家超級計算應(yīng)用中心等超算中心也紛紛宣布將使用GH200對其超算設(shè)備進(jìn)行更新升級。

那么，AI從業(yè)者都有哪些嘗鮮途徑可以體驗到GH200呢？

上線之后，GH200將可以通過Lambda、Vultr等特定云服務(wù)提供商進(jìn)行搶先體驗，Oracle和CoreWeave也宣布了明年提供GH200實例的計劃，亞馬遜、谷歌云、微軟Azure同樣也將成為首批部署GH200實例的云服務(wù)提供商。

英偉達(dá)自身，也會通過其NVIDIA LaunchPad平臺提供對GH200的訪問。

硬件制造商方面，華碩、技嘉等廠商計劃將于今年年底開始銷售搭載GH200的服務(wù)器設(shè)備。