首頁|必讀|視頻|專訪|運(yùn)營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機(jī)|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計(jì)算|芯片|報(bào)告|智慧城市|移動(dòng)互聯(lián)網(wǎng)|會(huì)展
首頁 >> 人工智能 >> 正文

微軟、英偉達(dá)紛紛押注小模型,大模型不香了?

2024年8月26日 07:19  每日經(jīng)濟(jì)新聞  

在人工智能發(fā)展的道路上,科技巨頭們?cè)?jīng)競(jìng)相開發(fā)規(guī)模龐大的語言模型,但如今出現(xiàn)了一種新趨勢(shì):小型語言模型(SLM)正逐漸嶄露頭角,挑戰(zhàn)著過去“越大越好”的觀念。

當(dāng)?shù)貢r(shí)間8月21日,微軟和英偉達(dá)相繼發(fā)布了最新的小型語言模型——Phi-3.5-mini-instruct和 Mistral- NeMo- Minitron8B。這兩款模型的主要賣點(diǎn)是它們?cè)谟?jì)算資源使用和功能表現(xiàn)之間實(shí)現(xiàn)了良好的平衡。在某些方面,它們的性能甚至可以媲美大模型。

人工智能初創(chuàng)公司Hugging Face的首席執(zhí)行官Clem Delangue指出,高達(dá)99%的使用場(chǎng)景可以通過SLM來解決,并預(yù)測(cè)2024年將成為SLM之年。據(jù)不完全統(tǒng)計(jì),包括Meta、微軟、谷歌在內(nèi)的科技巨頭們今年已經(jīng)發(fā)布了9款小模型。

大模型訓(xùn)練成本攀升

SLM的崛起并非偶然,而是與大模型(LLM)在性能提升與資源消耗方面的挑戰(zhàn)密切相關(guān)。

AI 初創(chuàng)公司 Vellum 和Hugging Face今年4月份發(fā)布的性能比較表明,LLM之間的性能差距正在迅速縮小,特別是在多項(xiàng)選擇題、推理和數(shù)學(xué)問題等特定任務(wù)中,頂級(jí)模型之間的差異極小。例如,在多項(xiàng)選擇題中,Claude 3 Opus、GPT- 4 和Gemini Ultra的準(zhǔn)確率均超過83%,而在推理任務(wù)中,Claude3 Opus、GPT-4和Gemini 1.5Pro的準(zhǔn)確率均超過92%。

Uber AI 前負(fù)責(zé)人 Gary Marcus指出:“我想每個(gè)人都會(huì)說GPT-4比GPT-3.5領(lǐng)先了一步,但此后的一年多沒有任何質(zhì)的飛躍。”

與有限的性能提升相比,LLM的訓(xùn)練成本卻在不斷攀升。訓(xùn)練這些模型需要海量數(shù)據(jù)(10.370, 0.62, 6.36%)(維權(quán))和數(shù)以億計(jì)甚至萬億個(gè)參數(shù),導(dǎo)致了極高的資源消耗。訓(xùn)練和運(yùn)行LLM所需的計(jì)算能力和能源消耗令人咋舌,這使得小型組織或個(gè)人難以參與核心LLM開發(fā)。

國際能源署估計(jì),數(shù)據(jù)中心、加密貨幣和人工智能相關(guān)的電力消耗到2026年,會(huì)大致相當(dāng)于日本全國的用電量。

OpenAI首席執(zhí)行官阿爾特(9.160, -0.03, -0.33%)曼曾在麻省理工學(xué)院的一次活動(dòng)上表示,訓(xùn)練GPT-4的成本至少為1億美元,而Anthropic首席執(zhí)行官Dario Amodei預(yù)測(cè),未來訓(xùn)練模型的成本可能達(dá)到1000億美元。

此外,使用LLM所需的工具和技術(shù)的復(fù)雜性也增加了開發(fā)人員的學(xué)習(xí)曲線。從訓(xùn)練到部署,整個(gè)過程耗時(shí)漫長,減緩了開發(fā)速度。劍橋大學(xué)的一項(xiàng)研究顯示,公司可能需要90天或更長時(shí)間才能部署一個(gè)機(jī)器學(xué)習(xí)模型。

LLM的另一個(gè)重大問題是容易產(chǎn)生“幻覺”——即模型生成的輸出看似合理,但實(shí)際上并不正確。這是由于LLM的訓(xùn)練方式是根據(jù)數(shù)據(jù)中的模式預(yù)測(cè)下一個(gè)最可能的單詞,而非真正理解信息。因此,LLM可能會(huì)自信地生成虛假陳述、編造事實(shí)或以荒謬的方式組合不相關(guān)的概念。如何檢測(cè)和減少這些“幻覺”是開發(fā)可靠且可信賴語言模型的持續(xù)挑戰(zhàn)。

小模型可降低成本

對(duì)LLM巨大能源需求的擔(dān)憂,以及為企業(yè)提供更多樣化AI選項(xiàng)的市場(chǎng)機(jī)會(huì),讓科技公司將注意力逐漸轉(zhuǎn)向了SLM。

《每日經(jīng)濟(jì)新聞》記者注意到,不管是Arcee、Sakana AI和Hugging Face等AI初創(chuàng)公司,還是科技巨頭都在通過SLM和更經(jīng)濟(jì)的方式吸引投資者和客戶。

此前,谷歌、Meta、OpenAI和Anthropic都發(fā)布了比旗艦LLM更緊湊、更靈活的小模型。這不僅降低了開發(fā)和部署的成本,也為商業(yè)客戶提供了更便宜的解決方案。鑒于投資者越來越擔(dān)心AI企業(yè)的高成本和不確定的回報(bào),更多的科技公司可能會(huì)選擇這條道路。即便是微軟和英偉達(dá),如今也先后推出了自己的小模型(SLM)。

SLM是LLM的精簡(jiǎn)版本,具有更少的參數(shù)和更簡(jiǎn)單的設(shè)計(jì),它們需要更少的數(shù)據(jù)和訓(xùn)練時(shí)間——只需幾分鐘或幾小時(shí)。這使得SLM更高效,更易于在小型設(shè)備上部署。例如,它們可以嵌入到手機(jī)中,而無需占用超算資源,從而降低成本,并顯著提升響應(yīng)速度。

SLM的另一個(gè)主要優(yōu)勢(shì)是其針對(duì)特定應(yīng)用的專業(yè)化。SLM專注于特定任務(wù)或領(lǐng)域,這使它們?cè)趯?shí)際應(yīng)用中更加高效。例如,在情緒分析、命名實(shí)體識(shí)別或特定領(lǐng)域的問答中,SLM的表現(xiàn)往往優(yōu)于通用模型。這種定制化使得企業(yè)能夠創(chuàng)建高效滿足其特定需求的模型。

SLM在特定領(lǐng)域內(nèi)也不易出現(xiàn)“幻覺”,因?yàn)樗鼈兺ǔT诟、更有針?duì)性的數(shù)據(jù)集上訓(xùn)練,這有助于模型學(xué)習(xí)與其任務(wù)最相關(guān)的模式和信息。SLM的專注性降低了生成不相關(guān)、意外或不一致輸出的可能性。

盡管規(guī)模較小,SLM在某些方面的性能并不遜色于大模型。微軟最新推出的Phi-3.5-mini-instruct僅擁有38億個(gè)參數(shù),但其性能優(yōu)于Llama3.18B和Mistral7B等參數(shù)遠(yuǎn)高于它的模型。美國東北大學(xué)(位于美國馬薩諸塞州波士頓,是一所頂尖的私立研究型大學(xué))語言模型研究專家Aaron Mueller指出,擴(kuò)展參數(shù)數(shù)量并非提高模型性能的唯一途徑,使用更高質(zhì)量的數(shù)據(jù)訓(xùn)練也可以產(chǎn)生類似效果。

OpenAI首席執(zhí)行官阿爾特曼在4月的一次活動(dòng)中表示,他相信當(dāng)前正處于巨型模型時(shí)代的末期,“我們將通過其他方式來提升它們的表現(xiàn)!

不過,需要注意的是,雖然SLM的專業(yè)化是一大優(yōu)勢(shì),但也有局限性。這些模型可能在其特定訓(xùn)練領(lǐng)域之外表現(xiàn)不佳,缺乏廣泛的知識(shí)庫,和LLM相比無法生成廣泛主題的相關(guān)內(nèi)容。這一限制要求用戶可能需要部署多個(gè)SLM來覆蓋不同的需求領(lǐng)域,從而使AI基礎(chǔ)設(shè)施復(fù)雜化。

隨著AI領(lǐng)域的快速發(fā)展,小模型的標(biāo)準(zhǔn)可能會(huì)不斷變化。東京小模型初創(chuàng)公司Sakana的聯(lián)合創(chuàng)始人兼首席執(zhí)行官David Ha表示,幾年前看似龐大的AI模型,現(xiàn)在看來已經(jīng)顯得“適中”!按笮】偸窍鄬(duì)的!盌avid Ha說道。(每經(jīng)記者 文巧 實(shí)習(xí)記者 岳楚鵬    每經(jīng)編輯 高涵    )

編 輯:高靖宇
飛象網(wǎng)版權(quán)及免責(zé)聲明:
1.本網(wǎng)刊載內(nèi)容,凡注明來源為“飛象網(wǎng)”和“飛象原創(chuàng)”皆屬飛象網(wǎng)版權(quán)所有,未經(jīng)允許禁止轉(zhuǎn)載、摘編及鏡像,違者必究。對(duì)于經(jīng)過授權(quán)可以轉(zhuǎn)載,請(qǐng)必須保持轉(zhuǎn)載文章、圖像、音視頻的完整性,并完整標(biāo)注作者信息和飛象網(wǎng)來源。
2.凡注明“來源:XXXX”的作品,均轉(zhuǎn)載自其它媒體,在于傳播更多行業(yè)信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)。
3.如因作品內(nèi)容、版權(quán)和其它問題,請(qǐng)?jiān)谙嚓P(guān)作品刊發(fā)之日起30日內(nèi)與本網(wǎng)聯(lián)系,我們將第一時(shí)間予以處理。
本站聯(lián)系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內(nèi)容核實(shí)”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對(duì)此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
中國電信邵廣祿:面向AI大模型的智算集群及網(wǎng)絡(luò)的實(shí)踐和展望
精彩專題
CES 2024國際消費(fèi)電子展
2023年信息通信產(chǎn)業(yè)盤點(diǎn)暨頒獎(jiǎng)禮
飛象網(wǎng)2023年手機(jī)評(píng)選
第24屆中國國際光電博覽會(huì)
CCTIME推薦
關(guān)于我們 | 廣告報(bào)價(jià) | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號(hào)-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證080234號(hào) 京公網(wǎng)安備110105000771號(hào)
公司名稱: 北京飛象互動(dòng)文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像