人工智能快速迭代，大模型時(shí)期僅依靠算力堆疊已無(wú)法實(shí)現(xiàn)模型性能的同步線性提升，模型算法與底層硬件、軟件棧、開(kāi)發(fā)框架間的協(xié)同效果最終影響其訓(xùn)推效率與性能表現(xiàn)，人工智能軟硬件生態(tài)重要性凸顯。中國(guó)信息通信研究院人工智能研究所軟硬件與創(chuàng)新生態(tài)部主任李論分享了人工智能軟硬件產(chǎn)品創(chuàng)新及生態(tài)構(gòu)建的幾點(diǎn)思考，助力我國(guó)盡快構(gòu)建起技術(shù)領(lǐng)先、良性發(fā)展的軟硬件生態(tài)體系。
一、大模型的創(chuàng)新迭代與軟硬件系統(tǒng)深度耦合
大模型的升級(jí)迭代需要在龐大的軟硬件系統(tǒng)上進(jìn)行實(shí)驗(yàn)。模型的原始創(chuàng)新和應(yīng)用迭代落地已非常依賴先進(jìn)的軟硬件協(xié)同技術(shù)生態(tài)體系，框架、芯片、集群、網(wǎng)絡(luò)等與算法間的協(xié)同愈發(fā)緊密。當(dāng)前以DeepSeek為代表的模型憑借工程化創(chuàng)新，實(shí)現(xiàn)性能的大幅度提升。特別是通過(guò)模型架構(gòu)、硬件算力和互聯(lián)通信等方面的極致優(yōu)化和協(xié)同來(lái)提升訓(xùn)練和推理的效能。從全球范圍看，Meta、字節(jié)等國(guó)內(nèi)外頭部企業(yè)也均在加快更大規(guī)模集群的軟硬件協(xié)同優(yōu)化，如創(chuàng)新集群網(wǎng)絡(luò)架構(gòu)、構(gòu)建先進(jìn)的運(yùn)維工具、優(yōu)化分布式并行策略等。我們預(yù)計(jì)，在下個(gè)階段，軟硬件協(xié)同和生態(tài)體系的構(gòu)建會(huì)是全球大模型創(chuàng)新和算力設(shè)施建設(shè)的競(jìng)爭(zhēng)焦點(diǎn)。
二、我國(guó)在軟硬件協(xié)同和適配方面發(fā)展現(xiàn)狀
模型和底層硬件的適配是硬件能力能否充分釋放的關(guān)鍵。以業(yè)界典型的開(kāi)源大模型DeepSeek為例，目前在國(guó)內(nèi)主流廠商的軟硬件產(chǎn)品上運(yùn)行DeepSeek模型，仍然需要結(jié)合實(shí)際應(yīng)用場(chǎng)景進(jìn)行深度優(yōu)化，從而滿足精度、性能以及產(chǎn)品服務(wù)等延伸需求。
我們把軟硬件適配分為三個(gè)階段，第一階段是完成軟硬件產(chǎn)品的基礎(chǔ)適配，保障模型在軟硬件系統(tǒng)上運(yùn)行無(wú)報(bào)錯(cuò)，達(dá)到“基本可用”狀態(tài)。第二階段是完成系統(tǒng)性能調(diào)優(yōu)，如精度對(duì)齊，提升吞吐、延遲等指標(biāo)表現(xiàn)，初步達(dá)到“好用”狀態(tài)。第三階段是和實(shí)際的場(chǎng)景結(jié)合，通過(guò)用戶、業(yè)務(wù)提供商、供應(yīng)商等多方協(xié)作，進(jìn)一步提升落地應(yīng)用效果。
在此背景下，中國(guó)信通院通過(guò)構(gòu)建人工智能軟硬件基準(zhǔn)體系A(chǔ)ISHPerf，推動(dòng)國(guó)產(chǎn)化適配測(cè)試工作。我們發(fā)現(xiàn)大量國(guó)產(chǎn)軟硬件系統(tǒng)已能支持DeepSeek運(yùn)行，通過(guò)一系列的優(yōu)化，能夠在數(shù)天內(nèi)實(shí)現(xiàn)“可用”，且部分廠商模型適配效果已與官方技術(shù)報(bào)告實(shí)現(xiàn)精度對(duì)齊，同時(shí)，短期內(nèi)出現(xiàn)多種工具包及一體機(jī)、公有云服務(wù)等產(chǎn)品形態(tài)，模型易用性不斷提升。
三、人工智能算力設(shè)施及軟硬件產(chǎn)品發(fā)展路徑
從整體發(fā)展來(lái)看，我們認(rèn)為規(guī)模定律在未來(lái)幾年仍將延續(xù)。業(yè)界主要有兩種發(fā)展思路：一是擴(kuò)大訓(xùn)練算力規(guī)模，增加模型尺寸，提升模型精度。二是聚焦參數(shù)一定范圍內(nèi)的模型改造與高效訓(xùn)練，特別在計(jì)算受限下，通過(guò)模型參數(shù)與訓(xùn)練數(shù)據(jù)有效配比和算法架構(gòu)改造提升訓(xùn)練效能，是廠商技術(shù)比拼的關(guān)鍵。
在這樣的發(fā)展路徑下，有三個(gè)創(chuàng)新重點(diǎn)：一是聚焦系統(tǒng)性能、提升算力利用率。算力需求雖仍在大幅度增長(zhǎng)，但當(dāng)前大量集群的算力利用率仍不足50%，需要進(jìn)行計(jì)算、存儲(chǔ)、通信的軟硬件深度協(xié)同，來(lái)實(shí)現(xiàn)系統(tǒng)性能提升。二是聚焦推理優(yōu)化方面的創(chuàng)新。大模型推理成為落地應(yīng)用的關(guān)鍵環(huán)節(jié)，通過(guò)硬件、軟件一體化集成，及分布式并行推理等技術(shù)能有效提升推理效率，出現(xiàn)一體機(jī)、推理集群等新的產(chǎn)品服務(wù)形式。三是面向多樣場(chǎng)景的適配是落地關(guān)鍵。DeepSeek等開(kāi)源模型生態(tài)有望進(jìn)一步促進(jìn)行業(yè)應(yīng)用需求增長(zhǎng)，但各個(gè)場(chǎng)景性能指標(biāo)存在差異，存在大量點(diǎn)對(duì)點(diǎn)適配問(wèn)題，需深度適配優(yōu)化。
四、我國(guó)需面向應(yīng)用需求持續(xù)推動(dòng)軟硬件產(chǎn)品創(chuàng)新和生態(tài)建設(shè)
應(yīng)用模型的高效部署和生態(tài)協(xié)同范式的建立是下階段AI產(chǎn)品的創(chuàng)新關(guān)鍵。為了進(jìn)一步凝聚產(chǎn)業(yè)共識(shí)，降低軟硬件選型技術(shù)難度和開(kāi)發(fā)門檻，依托工信部人工智能標(biāo)準(zhǔn)化技術(shù)委員會(huì)，中國(guó)信通院基于人工智能軟硬件基準(zhǔn)AISHPerf工作組已推進(jìn)十余項(xiàng)標(biāo)準(zhǔn)制定工作，覆蓋算子、計(jì)算設(shè)備、訓(xùn)推集群、框架工具、邊端系統(tǒng)、智算的互聯(lián)、網(wǎng)絡(luò)等領(lǐng)域。此外，我們?cè)诒本┮嗲f建設(shè)了首個(gè)人工智能軟硬件協(xié)同創(chuàng)新與適配驗(yàn)證中心，面向包括芯片、服務(wù)器、不同類型的計(jì)算設(shè)備、集群、開(kāi)發(fā)框架及平臺(tái)、一體機(jī)等在內(nèi)的人工智能軟硬件產(chǎn)品，去提供相應(yīng)的實(shí)驗(yàn)驗(yàn)證、測(cè)試和產(chǎn)業(yè)培育等工作。下一步，我們將持續(xù)開(kāi)展大模型軟硬一體設(shè)備、框架軟件與工具、大規(guī)模智算集群等系列測(cè)試驗(yàn)證工作，舉辦“興智杯”全國(guó)人工智能創(chuàng)新應(yīng)用大賽、大模型創(chuàng)新發(fā)展與軟硬件協(xié)同生態(tài)論壇等大型賽會(huì)活動(dòng)，希望能夠有序引導(dǎo)人工智能模型和軟硬件廠商間的協(xié)同創(chuàng)新，集聚各方力量盡快構(gòu)建起技術(shù)領(lǐng)先、良性發(fā)展的產(chǎn)業(yè)生態(tài)體系。
