隨著大模型技術(shù)的飛速發(fā)展，模型參數(shù)量急劇增長(zhǎng)，模型能力持續(xù)增強(qiáng)，智能應(yīng)用百花齊放�；A(chǔ)設(shè)施的可用性決定了大模型研發(fā)及服務(wù)的效率，大模型服務(wù)的可用性又決定了智能應(yīng)用的服務(wù)質(zhì)量。在此背景下，高質(zhì)量大模型基礎(chǔ)設(shè)施成為推動(dòng)大模型應(yīng)用落地的關(guān)鍵要素。為充分發(fā)揮大模型基礎(chǔ)設(shè)施的賦能作用，更好支撐大模型發(fā)展，推動(dòng)大模型應(yīng)用落地，特編制此研究報(bào)告。
1月8日，在大模型工程化成果發(fā)布會(huì)上，中國(guó)信息通信研究院（簡(jiǎn)稱(chēng)“中國(guó)信通院”）人工智能研究所發(fā)布《高質(zhì)量大模型基礎(chǔ)設(shè)施研究報(bào)告（2024年）》，由中國(guó)信通院人工智能研究所平臺(tái)與工程化部主任曹峰解讀。
報(bào)告聚焦大模型基礎(chǔ)設(shè)施的五大核心能力領(lǐng)域：計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、開(kāi)發(fā)工具鏈和運(yùn)維管理，系統(tǒng)梳理了大模型發(fā)展對(duì)基礎(chǔ)設(shè)施提出的新需求，剖析了基礎(chǔ)設(shè)施發(fā)展的關(guān)鍵技術(shù)，并提出體系化評(píng)價(jià)指標(biāo)。同時(shí)，報(bào)告通過(guò)分析業(yè)界典型實(shí)踐案例，為企業(yè)建設(shè)高質(zhì)量大模型基礎(chǔ)設(shè)施提供了參考。
報(bào)告核心觀點(diǎn)
1. 計(jì)算資源分配粗放，高效異構(gòu)算力融合調(diào)度成為新需求。一是異構(gòu)資源統(tǒng)一納管。算力資源利舊帶來(lái)不同架構(gòu)AI芯片納管需求，大模型在科學(xué)、工業(yè)仿真等領(lǐng)域應(yīng)用加深帶來(lái)CPU和AI芯片納管需求。華為、移動(dòng)、電信等廠商積極推動(dòng)異構(gòu)智算管理平臺(tái)研發(fā)，通過(guò)統(tǒng)一編程接口、智能調(diào)度等技術(shù)，實(shí)現(xiàn)對(duì)多類(lèi)異構(gòu)算力資源協(xié)同管理，提高算力利用率。二是智能化調(diào)度實(shí)現(xiàn)算力經(jīng)濟(jì)最大化。通過(guò)自動(dòng)化監(jiān)控、預(yù)測(cè)、自適應(yīng)調(diào)度等技術(shù)優(yōu)化資源利用，采用“AI+歷史數(shù)據(jù)+實(shí)時(shí)數(shù)據(jù)”分析，實(shí)現(xiàn)算力需求精準(zhǔn)預(yù)測(cè)，動(dòng)態(tài)調(diào)度。
2. 海量數(shù)據(jù)處理低效，高性能大模型存儲(chǔ)技術(shù)成為新關(guān)鍵。一是長(zhǎng)記憶存儲(chǔ)助力推理降本增效。通過(guò)高性能存儲(chǔ)的大范圍全局共享和持久化KV Cache能力，可實(shí)現(xiàn)高性?xún)r(jià)比推理加速，經(jīng)企業(yè)實(shí)踐驗(yàn)證，推理吞吐提速可超50%，推理成本顯著下降。二是加速卡直通存儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)直達(dá)。通過(guò)加速卡和存儲(chǔ)設(shè)備的數(shù)據(jù)一跳直達(dá)，可以消除CPU處理瓶頸，極大提升數(shù)據(jù)從存儲(chǔ)到加速卡的數(shù)據(jù)傳輸效率，經(jīng)企業(yè)實(shí)踐驗(yàn)證，可實(shí)現(xiàn)TB/s級(jí)帶寬和億級(jí)IOPS，每個(gè)機(jī)架單元的存儲(chǔ)性能可達(dá)50GB/s以上，大幅提升集群可用度。三是數(shù)據(jù)編織技術(shù)提高全流程效率。通過(guò)數(shù)據(jù)編織技術(shù)，實(shí)現(xiàn)全局?jǐn)?shù)據(jù)可視可管，跨域統(tǒng)一視圖。
3. 并行計(jì)算規(guī)模攀升，高通量大規(guī)模網(wǎng)絡(luò)技術(shù)成為新方案。一是負(fù)載均衡技術(shù)助力解決“算等網(wǎng)”問(wèn)題。經(jīng)企業(yè)實(shí)踐驗(yàn)證，逐流方案通過(guò)定制化的xCCL配合網(wǎng)絡(luò)路徑優(yōu)化，在保證網(wǎng)絡(luò)高可靠性的同時(shí)，網(wǎng)絡(luò)鏈路利用率可達(dá)90%以上。逐包方案通過(guò)自適應(yīng)路由等技術(shù)，可實(shí)現(xiàn)整網(wǎng)吞吐達(dá)到90%以上。二是參數(shù)面、存儲(chǔ)面/樣本面、業(yè)務(wù)面、帶外管理面網(wǎng)絡(luò)互聯(lián)有效提升大模型訓(xùn)練效率。在訓(xùn)前、訓(xùn)中、訓(xùn)后，多網(wǎng)絡(luò)面互聯(lián)解決訓(xùn)練過(guò)程涉及的數(shù)據(jù)、模型、模型參數(shù)、檢查點(diǎn)等的寫(xiě)入和導(dǎo)出問(wèn)題。
4. 模型參數(shù)急劇增長(zhǎng)，高效能大模型開(kāi)發(fā)技術(shù)成為新解法。一是訓(xùn)練加速技術(shù)涌現(xiàn)支撐大模型高效構(gòu)建。計(jì)算資源優(yōu)化方法通過(guò)混合精度計(jì)算等方式，減少計(jì)算和存儲(chǔ)需求，有效提升模型效率。計(jì)算優(yōu)化策略通過(guò)算子融合、梯度積累技術(shù)等實(shí)現(xiàn)模型執(zhí)行效率提升。二是推理技術(shù)提升模型推理效率。模型壓縮通過(guò)低比特量化、稀疏化等方式實(shí)現(xiàn)模型訓(xùn)中、訓(xùn)后的低損與高效壓縮。推理引擎技術(shù)進(jìn)一步提升推理性能和兼容性。
5. 基礎(chǔ)設(shè)施故障率高，高容錯(cuò)大模型運(yùn)維技術(shù)成為新手段。一是訓(xùn)前健康檢查保障作業(yè)零隱患運(yùn)行。通過(guò)全棧隱患排查，降低作業(yè)啟動(dòng)失敗頻率，避免計(jì)算資源損失。二是訓(xùn)中故障可預(yù)測(cè)、可恢復(fù)。通過(guò)智能監(jiān)控告警技術(shù)，進(jìn)行端側(cè)監(jiān)控、擁塞分析等輔助故障定位，基于既有運(yùn)維知識(shí)庫(kù)，實(shí)現(xiàn)異常預(yù)測(cè)、RCA根因定位，有效提升集群穩(wěn)定運(yùn)行時(shí)長(zhǎng)。
