基于真實(shí)環(huán)境的AI測(cè)試不斷演進(jìn)，促使英特爾技術(shù)專(zhuān)家順應(yīng)行業(yè)需求，持續(xù)提升產(chǎn)品性能，進(jìn)而營(yíng)造更友好的發(fā)展環(huán)境，推動(dòng)AI技術(shù)的普及。
MLPerf大家可能都略有耳聞，但又未必完全了解這項(xiàng)AI基準(zhǔn)測(cè)試。雖然沒(méi)能找到這個(gè)詞本身的明確定義，但利用AI助手，我們得到了一個(gè)值得信賴(lài)的答案：MLPerf在2018年5月首次出現(xiàn)時(shí)被比作是為“SPEC for ML”。AI助手繼續(xù)寫(xiě)道：“‘MLPerf’是一個(gè)合成詞，由‘ML’（代表機(jī)器學(xué)習(xí)）和‘Perf’（代表性能）組合而成�！�
它進(jìn)一步解釋說(shuō)：“雖然沒(méi)有關(guān)于命名過(guò)程的詳細(xì)官方說(shuō)明，但名稱(chēng)本身就非常直觀，之所以被選中，可能是因?yàn)樗苯芋w現(xiàn)了基準(zhǔn)測(cè)試的目的�！保ㄟ@個(gè)解釋也很貼合大家對(duì)AI生成的答案的預(yù)期，這些AI由研究人員所構(gòu)建并不斷改進(jìn)）
實(shí)際結(jié)果證明了這一點(diǎn)：就在上周，英特爾是唯一一家持續(xù)向MLPerf提交服務(wù)器CPU測(cè)試結(jié)果的廠商。提交的結(jié)果中包括了使用英特爾®至強(qiáng)® 6處理器進(jìn)行圖像檢測(cè)和信息分析等常見(jiàn)的AI任務(wù)。
加速AI發(fā)展背后的組織與流程
英特爾數(shù)據(jù)中心和人工智能事業(yè)部軟件部門(mén)的Ramesh Chukka表示：“MLPerf是目前AI領(lǐng)域首屈一指的基準(zhǔn)測(cè)試�！�
Chukka代表英特爾擔(dān)任MLCommons委員會(huì)成員，該聯(lián)盟成立于2020年底，目標(biāo)是將最初的MLPerf工作范疇擴(kuò)展到“推動(dòng)開(kāi)發(fā)最新的AI和機(jī)器學(xué)習(xí)數(shù)據(jù)集和模型、最佳實(shí)踐、基準(zhǔn)和指標(biāo)，并讓使用更加便捷”。
Chukka認(rèn)為，MLPerf可以泛指所有的基準(zhǔn)測(cè)試，這些基準(zhǔn)測(cè)試“像技術(shù)的發(fā)展一樣，處于快速演進(jìn)中”，從而通過(guò)“快速構(gòu)建新的AI技術(shù)原型”來(lái)實(shí)現(xiàn)推動(dòng)該領(lǐng)域發(fā)展的目標(biāo)。每個(gè)基準(zhǔn)測(cè)試都衡量了在一定的質(zhì)量水平下，完成特定AI任務(wù)的速度。
這些基準(zhǔn)測(cè)試分為兩大類(lèi)：一是訓(xùn)練，即使用數(shù)據(jù)構(gòu)建AI模型；二是推理，即讓AI模型像應(yīng)用程序一樣運(yùn)行起來(lái)。用大語(yǔ)言模型（LLM）來(lái)類(lèi)比：訓(xùn)練是指LLM從海量信息中學(xué)習(xí)的過(guò)程，而推理則是你每次安排它執(zhí)行任務(wù)的時(shí)候。
MLCommons每年針對(duì)訓(xùn)練和推理兩大類(lèi)目分別發(fā)布兩組基準(zhǔn)測(cè)試結(jié)果。英特爾最近一次公布訓(xùn)練結(jié)果是在去年6月，而最新的推理結(jié)果則是在本月剛剛發(fā)布。
從MLPerf創(chuàng)立之初，再到之后的MLCommons，英特爾AI專(zhuān)家一直積極參與并貢獻(xiàn)測(cè)試結(jié)果。英特爾從兩方面參與其中：幫助塑造和推動(dòng)整個(gè)項(xiàng)目的發(fā)展，同時(shí)使用英特爾的處理器、加速器和解決方案進(jìn)行編譯并提交基準(zhǔn)測(cè)試結(jié)果。
MLPerf基準(zhǔn)測(cè)試所解決的問(wèn)題
AI模型是復(fù)雜的程序，現(xiàn)在越來(lái)越多種類(lèi)的計(jì)算機(jī)能夠運(yùn)行這些模型。通過(guò)MLPerf基準(zhǔn)測(cè)試，不僅能夠更好地對(duì)比不同種類(lèi)的計(jì)算機(jī)，同時(shí)也可以推動(dòng)研究人員和企業(yè)進(jìn)一步探索前沿技術(shù)。
每個(gè)基準(zhǔn)測(cè)試都會(huì)盡可能貼近實(shí)際應(yīng)用場(chǎng)景，而其結(jié)果則分為兩個(gè)類(lèi)別。其中，“封閉”類(lèi)別對(duì)AI模型和軟件堆棧進(jìn)行嚴(yán)格控制，以盡可能精準(zhǔn)地進(jìn)行硬件比較，即在不同的系統(tǒng)中，使用相同的程序來(lái)實(shí)現(xiàn)相同的結(jié)果，如自然語(yǔ)言處理的準(zhǔn)確率測(cè)試。
“開(kāi)放”類(lèi)別則包含創(chuàng)新因素，即讓每個(gè)系統(tǒng)在實(shí)現(xiàn)相同目標(biāo)的前提下，盡可能地突破性能極限。
值得注意的是，MLPerf將所有內(nèi)容共享，且基準(zhǔn)測(cè)試是開(kāi)源的。測(cè)試結(jié)果需要是可復(fù)現(xiàn)的，無(wú)隱藏信息。正是這種開(kāi)源開(kāi)放的特性，能夠讓廠商進(jìn)行更全面的比較，而不僅僅是單純的速度對(duì)比。比如，廠商也可以從每瓦性能，或成本等維度進(jìn)行對(duì)比。
MLPerf的運(yùn)行及演進(jìn)過(guò)程
正如Chukka所說(shuō)，MLPerf之所以廣受業(yè)界認(rèn)可，部分原因在于它不斷演進(jìn)并持續(xù)增加新的基準(zhǔn)測(cè)試。其演進(jìn)過(guò)程主要是由MLCommons社區(qū)的公開(kāi)討論和辯論驅(qū)動(dòng)的，而諸多大型企業(yè)、初創(chuàng)公司和學(xué)術(shù)界等均是該社區(qū)的參與者。
首先，新的基準(zhǔn)測(cè)試會(huì)被提出并進(jìn)行辯論，隨后獲批的基準(zhǔn)測(cè)試需要一個(gè)公開(kāi)的數(shù)據(jù)集用于訓(xùn)練。其中需要注意的是，該數(shù)據(jù)集可能已經(jīng)存在，也可能需要重新創(chuàng)建。其次，參與者自愿組隊(duì)，共同構(gòu)建基準(zhǔn)測(cè)試、確定或收集數(shù)據(jù)，并為基準(zhǔn)測(cè)試的發(fā)布設(shè)定時(shí)間表。
最后，任何希望發(fā)布測(cè)試結(jié)果的公司都需要在截止日期前提交成果。如果錯(cuò)過(guò)該截止日期，則只能等待下一輪流程重新開(kāi)啟。
更快速、更高效的AI塑造世界的未來(lái)
當(dāng)越來(lái)越多的人借助半導(dǎo)體技術(shù)攻克各類(lèi)難題時(shí)，對(duì)于英特爾而言，無(wú)疑在宏觀層面帶來(lái)了顯著的積極影響，然而，英特爾參與MLPerf基準(zhǔn)測(cè)試，有著更為深遠(yuǎn)的意義。
英特爾一直在為AI開(kāi)源框架貢獻(xiàn)力量，如PyTorch及其擴(kuò)展。當(dāng)英特爾工程師努力優(yōu)化代碼以提升MLPerf的運(yùn)行效率時(shí)，那些在英特爾芯片上部署相關(guān)AI應(yīng)用的用戶(hù)，無(wú)需任何額外操作，便能輕松受益于這些技術(shù)進(jìn)步。
Chukka表示，“對(duì)于新的基準(zhǔn)測(cè)試，我們也一直在探索可行的優(yōu)化方案，并積極準(zhǔn)備后續(xù)的提交工作。”
為了實(shí)現(xiàn)更出色的測(cè)試結(jié)果，Chukka團(tuán)隊(duì)匯集公司各方力量，在多輪測(cè)試中取得了出色的性能提升，例如，在2024年的測(cè)試結(jié)果中，推薦系統(tǒng)推理性能提升了80%，又如在本月的測(cè)試結(jié)果中，GPT-J基準(zhǔn)測(cè)試性能提升了22%。
因此，當(dāng)英特爾發(fā)布新一輪MLPerf測(cè)試結(jié)果時(shí)，往往也代表著整體AI系統(tǒng)都變得更快速、更高效，甚至?xí)r下熱門(mén)的大模型，也能在響應(yīng)用戶(hù)新的需求時(shí)，給出更迅速、更智能的解答。
注釋?zhuān)?/STRONG>
性能因使用情況、配置和其他因素而異。欲了解更多信息，請(qǐng)?jiān)L問(wèn)網(wǎng)站www.Intel.com/PerformanceIndex。
性能結(jié)果基于截至配置中所示日期的測(cè)試，可能不反映所有公開(kāi)可用的更新。欲了解更多信息，請(qǐng)?jiān)L問(wèn)MLCommons官方網(wǎng)站。沒(méi)有任何產(chǎn)品或組件是絕對(duì)安全的。
