阿布扎比科技控股集團 G42 近日宣布推出全球最快的超級計算機 Condor Galaxy-1 (CG-1),該計算機擁有 5400 萬個核心,處理能力達到 4 exaFLOPS(IT之家注:每秒 4 百億億次),可用于訓(xùn)練最先進的人工智能模型。該計算機位于美國加州圣克拉拉,由美國人工智能公司 Cerebras 運營。
隨著人工智能技術(shù)的發(fā)展,超級計算機的需求日益增長,許多企業(yè)需要借助超級計算機來訓(xùn)練自己的模型,一些公司如微軟建設(shè)了昂貴的基礎(chǔ)設(shè)施并將其出租給企業(yè)使用的服務(wù)。
總部位于阿布扎比的 G42 是一個科技領(lǐng)域的控股集團,旨在為未來世界創(chuàng)建基礎(chǔ)設(shè)施,與各國和企業(yè)合作,實現(xiàn)其愿景。該公司正在建設(shè) Condor Galaxy 系列超級計算機系統(tǒng),以幫助解決當今人類面臨的最大問題。
許多科技公司已經(jīng)宣布建立由數(shù)千個圖形處理單元(GPU)組成的巨大集群,這是人工智能模型的大腦。但 Cerebras 公司的首席執(zhí)行官 Andrew Feldman 表示,“在數(shù)千個微型 GPU 上分發(fā)單一模型需要數(shù)十名具有稀有專業(yè)知識的人員花費數(shù)月時間!
Feldman 和他在 Cerebras 的團隊沒有使用中央超級計算機,而是構(gòu)建了一組互連的 AI 超級計算機,可以大大減少 AI 模型的訓(xùn)練時間。根據(jù) Cerebras 的方法,建立生成式人工智能模型只需要幾分鐘時間,并且可以由一個人完成。
Condor Galaxy 系統(tǒng)的綜合處理能力將達到 36 exaFLOPS,這在當今的計算世界中是空前的。
每臺超級計算機都是 Condor Galaxy 系列超級計算機的核心,其中第一臺已經(jīng)于近日揭幕。Cerebras 公司組裝了 64 個其旗艦產(chǎn)品 CS-2 人工智能處理器,組成了 CG-1 超級計算機。
AMD 公司的 EPYC 處理器核心為該系統(tǒng)提供動力,并擁有 5400 萬個專為人工智能優(yōu)化的計算核心,總體的片上內(nèi)存容量達到了 82TB,各個 CS-2 系統(tǒng)間的帶寬速率高達 388Tbps。
在 16 位計算下,該系統(tǒng)可以提供 4 exaFLOPS 的計算能力,這是目前世界上最快超級計算機速度的四倍。它可以用于訓(xùn)練 6000 億參數(shù)模型,并可擴展到支持 100 萬億參數(shù)模型。作為對比,OpenAI 公司的 GPT-4 模型是使用 1.7 萬億參數(shù)訓(xùn)練的。
Cerebras 和 G42 還計劃在 2024 年初在美國引入另外兩臺超級計算機,CG-2 和 CG-3,同時將 CG-1 作為云服務(wù)提供給客戶。
CG-1 可以原生地處理 50000 個令牌,而無需任何特殊的軟件庫。在 CG-1 上編程完全不需要使用復(fù)雜的分布式編程語言,節(jié)省了在 GPU 上分配工作流的寶貴時間。
該超級計算機位于圣克拉拉的一個托管設(shè)施 Colovore,Cerebras 將根據(jù)美國法律運營,以確保該計算能力不會被敵對國家所利用。
G42 和 Cerebras 相信,最快的超級計算機將有助于應(yīng)對醫(yī)療、能源和氣候變化等挑戰(zhàn)。