耗能頗高的數(shù)據(jù)中心常被稱為“不冒煙的鋼廠”。這不僅是因為處理器運行消耗大量電力,也是因為數(shù)據(jù)中心需消耗更多能源,來冷卻高溫運行中的服務(wù)器。幾年間,數(shù)據(jù)中心處理器功耗持續(xù)攀升,大模型更添一把“火”,業(yè)內(nèi)正在尋找新的冷卻方式。
“原來一個機(jī)柜40多U(長度單位),有那么高,功耗不到8000瓦,現(xiàn)在常用于訓(xùn)練或推理的4U八卡機(jī)功耗達(dá)到10千瓦,體積才那么大一點!苯找粓霾稍L中,綠色云圖總經(jīng)理、網(wǎng)宿科技副總裁胡世軒用手比劃,向記者形容,服務(wù)器機(jī)柜變小了,但一臺高度不到2分米的服務(wù)器,現(xiàn)在卻成為功耗“怪獸”。
推高功耗表現(xiàn)的一大原因是AI。AI處理器功耗隨著性能提高而提高,傳統(tǒng)風(fēng)冷不再適合。有業(yè)內(nèi)人士告訴記者,目前各種液冷技術(shù)還在競賽,但從大趨勢看,液冷已逐漸成為新建智算中心的標(biāo)配。
數(shù)據(jù)中心功耗難題
全球AI基礎(chǔ)設(shè)施競賽還在進(jìn)行。與此同時,應(yīng)用于AI場景的高性能芯片功耗越來越高。山西證券研報引用S&P Global數(shù)據(jù)稱,2017年主流芯片廠商TDP(熱設(shè)計功耗)僅200瓦左右,到2023年,一般GPU的TDP已經(jīng)達(dá)到350~700瓦,英偉達(dá)新一代B100功耗甚至超過1000瓦。
“原來一臺服務(wù)器功率大概500瓦、1000瓦,現(xiàn)在單張芯片就能達(dá)到500瓦了! 胡世軒向記者形容。
高功耗導(dǎo)向高排放。谷歌近日在其年度環(huán)境報告中指出,2023年公司溫室氣體排放量達(dá)到1430萬噸碳當(dāng)量,比2019年基準(zhǔn)高出48%。谷歌2023年與能源相關(guān)的排放量同比增長37%,排放主要來自數(shù)據(jù)中心電力消耗。微軟總裁布拉德·史密斯5月也承認(rèn),公司的減排目標(biāo)受到人工智能戰(zhàn)略的影響。
高功耗導(dǎo)致芯片出現(xiàn)高溫,進(jìn)而影響芯片性能,業(yè)內(nèi)將這一現(xiàn)象成為“功耗墻”。冷卻成為必不可少的手段。一般而言,數(shù)據(jù)中心有約40%的功耗用于制冷系統(tǒng)。傳統(tǒng)數(shù)據(jù)中心多采用風(fēng)冷等傳統(tǒng)冷卻方式,但因應(yīng)對高功耗時的低能效,業(yè)內(nèi)出現(xiàn)了取代風(fēng)冷的聲音。
今年早些時候,英偉達(dá)CEO黃仁勛表示,液冷技術(shù)將成為AI算力的下一個趨勢性領(lǐng)域。英偉達(dá)從B100產(chǎn)品開始便采用液冷技術(shù)!包S仁勛認(rèn)為浸沒式液冷是未來方向,這是他的觀點,不一定代表業(yè)界對液冷技術(shù)走向的共識,但高功耗情況下,液冷確實是需要的!币幻⻊(wù)器業(yè)內(nèi)人士告訴記者,如果說風(fēng)冷是吹風(fēng)扇、空調(diào),液冷則像泡澡。
英特爾資深技術(shù)專家近日接受第一財經(jīng)記者采訪時解釋,之所以風(fēng)冷不適應(yīng)高功耗場景,是因為傳統(tǒng)風(fēng)冷風(fēng)扇轉(zhuǎn)速越快、散熱效果越好、風(fēng)扇轉(zhuǎn)動耗能越高,但轉(zhuǎn)速達(dá)到某個臨界點后散熱效果提升有限,功耗卻上升明顯。風(fēng)冷對300瓦、350瓦功耗以上的處理器而言性價比不高。
記者從多名服務(wù)器業(yè)內(nèi)人士了解到,今年服務(wù)器出貨增長較明顯的是智算中心常用的AI服務(wù)器!皳(jù)我們觀察,新建數(shù)據(jù)中心的冷卻方式以液冷為主,風(fēng)冷較少。我們和中國臺灣、美國的產(chǎn)業(yè)上下游廠商聊,發(fā)現(xiàn)大家的感覺都是‘今年跟以前明顯不一樣’。” 以上技術(shù)專家告訴記者,從存量市場看,多數(shù)數(shù)據(jù)中心仍采用風(fēng)冷,應(yīng)對高功耗時需通過加裝更多電風(fēng)扇、做大散熱器等方式‘打補(bǔ)丁’,確保已有處理器還能使用。但未來幾年,隨著數(shù)據(jù)中心逐漸轉(zhuǎn)向液冷,芯片廠商可能會轉(zhuǎn)向推出只考慮液冷環(huán)境下運行的芯片。埃克森美孚合成基礎(chǔ)油業(yè)務(wù)部門亞太市場總監(jiān)王欣也感受到,今年數(shù)據(jù)中心服務(wù)器冷卻液的需求有所增長。
粗略分,液冷目前主要有兩種方式,冷板式液冷不需要浸沒芯片,浸沒式液冷則是將整臺服務(wù)器包括芯片浸在液體中,由液體帶走熱量。胡世軒向記者形容,做通用計算的數(shù)據(jù)中心發(fā)熱量不大,沒有必要打破由冷機(jī)、空調(diào)降溫的方式,而當(dāng)智算中心單U功耗達(dá)0.5千瓦的臨界值時,液冷的效果和性價比都更高。
“液冷和風(fēng)冷相比,數(shù)據(jù)中心能節(jié)省20%以上能耗,我判斷其中用在制冷上的能耗可節(jié)省80%以上。風(fēng)冷數(shù)據(jù)中心PUE(數(shù)據(jù)中心電能利用效率)一般在1.5左右,有的地方要求做到1.3,從我們做的項目看,浸沒式液冷數(shù)據(jù)中心PUE則能做到1.1以下! 胡世軒表示。
仍在發(fā)展初期
液冷能以較低能耗冷卻數(shù)據(jù)中心的處理器,但作為相對新興的技術(shù),目前部署液冷的價格仍偏高,各種液冷技術(shù)也仍在爭流。
液冷有一些技術(shù)挑戰(zhàn)需要攻克。王欣告訴記者,浸沒式液體把服務(wù)器所有硬件泡在里面,材料兼容是關(guān)鍵難題,此外,需要解決信號穩(wěn)定性、散熱性等問題,冷卻液廠商需要持續(xù)研發(fā)和更新。
此外,記者了解到,目前各方對冷卻方案的選擇各有判斷,共識還未形成。據(jù)市場研究機(jī)構(gòu)IDC數(shù)據(jù),去年國內(nèi)液冷服務(wù)器市場規(guī)模增長52.6%,其中95%采用冷板式液冷。技術(shù)路線上看,冷板式和浸沒式都有單相和兩相兩種技術(shù)路線,單相采用氟碳化合物或合成油,雙相目前只有氟碳化合物散熱能力較高。
上述英特爾資深技術(shù)專家表示,單相冷板散熱效果出色、業(yè)界采用較多,但無法根除液體泄漏風(fēng)險。兩相冷板所用的氟化物冷卻液泄漏后不會造成電路短路,但氟化物對環(huán)境有影響。氟化物在國際上有減少或禁止使用的趨勢,英特爾目前支持基于合成油的單相冷板和單相浸沒式液冷技術(shù)。產(chǎn)業(yè)鏈也在根據(jù)目前的技術(shù)挑戰(zhàn)做調(diào)整。王欣表示,氟化液冷卻液非常穩(wěn)定,在自然界中不容易降解且價格較高,公司推出對環(huán)境影響較小的無PFAS(全氟和多氟烷基物質(zhì))浸沒式冷卻液,正與產(chǎn)業(yè)鏈合作,滿足浸沒式冷卻場景的技術(shù)指標(biāo)。
整體而言,上述英特爾資深技術(shù)專家告訴記者,現(xiàn)在液冷還沒有某種技術(shù)比另一種技術(shù)更有統(tǒng)治性優(yōu)勢,未來需求也還不明確,每個技術(shù)都有優(yōu)缺點,而且為了適應(yīng)未來需求還在繼續(xù)演進(jìn)。另有業(yè)內(nèi)人士告訴記者,液冷上游供應(yīng)鏈有不少廠家,技術(shù)有壁壘,競爭也較激烈。
價格方面,胡世軒告訴記者,浸沒式和冷板式液冷的價格今年都在往下走。建造成本看,浸沒式液冷比傳統(tǒng)風(fēng)冷貴5%~8%,但預(yù)計部署規(guī)模增大后,兩年內(nèi)可以做到風(fēng)液同價。冷卻液廠商也在推動冷卻液迭代降價,現(xiàn)在已有產(chǎn)品價格比氟化物冷卻液低很多。
目前,液冷產(chǎn)業(yè)鏈上游為零部件及液冷設(shè)備廠商,國產(chǎn)廠商包括英維克、綠色云圖等,中游為液冷服務(wù)器及芯片廠商、液冷集成設(shè)施廠商,包括中興、浪潮、曙光、新華三等。產(chǎn)業(yè)鏈已形成一些合作。英特爾與綠色云圖、立訊精密、埃克森美孚等合作開發(fā)液冷解決方案,6月推出PUE低于1.05的G-Tank浸沒式冷卻解決方案。英偉達(dá)則與液冷設(shè)備提供商Vertiv合作,超微電腦也針對英偉達(dá)芯片推出液冷系統(tǒng)。
從相關(guān)性較大的產(chǎn)業(yè)鏈上市企業(yè)看,部分股價或業(yè)績受液冷需求增長催化,但整體冷熱不均。Vertiv股價從年初的每股45美元左右漲至美股7月11日92.86美元/股。英維克7月11日發(fā)布今年上半年業(yè)績預(yù)告,稱機(jī)房溫控節(jié)能產(chǎn)品增長較快,上半年凈利潤業(yè)績增長80%~110%。全棧布局液冷的服務(wù)器廠商浪潮2023年曾受專用芯片供應(yīng)緊張影響,營收、凈利潤均同比減少,今年上半年預(yù)計營收同比增長60%以上。
今年第一季度,中科曙光旗下布局?jǐn)?shù)據(jù)中心冷卻技術(shù)的曙光數(shù)創(chuàng)營收則同比下降94.22%,凈利潤虧損,公司相關(guān)負(fù)責(zé)人5月在投資者活動上提及,冷板產(chǎn)品門檻低于比浸沒液冷產(chǎn)品,仍處于發(fā)展初期,很多同行業(yè)公司都在進(jìn)入冷板市場搶奪份額,導(dǎo)致競爭激烈,公司目前以搶占市場份額為主,長遠(yuǎn)看預(yù)計毛利會改善。