每經(jīng)記者 文巧 每經(jīng)編輯 蘭素英
在推出開源大模型LLaMA2近一年之后,Meta的新一代大模型LLaMA 3即將面世。
在4月9日倫敦舉行的一次活動中,Meta確認(rèn)計劃在下個月內(nèi)首次發(fā)布LLaMA 3。據(jù)了解,該模型將有多個具有不同功能的版本。
但Meta并沒有披露LLaMA 3的參數(shù)規(guī)模!半S著時間的推移,我們的目標(biāo)是讓由LLaMA驅(qū)動的Meta AI成為世界上最有用的助手!盡eta人工智能研究副總裁Joelle Pineau說!耙_(dá)到這個目標(biāo),還有相當(dāng)多的工作要做。”
而據(jù)科技外媒The Information4月8日發(fā)布的報道,作為對標(biāo)GPT-4的大模型,LLaMA 3的大規(guī)模版本參數(shù)量可能超過1400億,而最大的LLaMA 2版本的參數(shù)量為700億。LLaMA 3將支持多模態(tài)處理,即同時理解和生成文本及圖片。
值得注意的是,LLaMA 3將延續(xù)Meta一直以來的開源路線。目前,開源模型界的競爭正在變得愈發(fā)激烈,開源大模型亦進(jìn)化得越來越強(qiáng)大。截至目前,包括谷歌、馬斯克旗下的xAI、Mistral AI、StabilityAI等在內(nèi)的許多公司都發(fā)布了開源的大模型。
作為開源模型界的“扛把子”,Meta在AI基礎(chǔ)設(shè)施上的投入亦不可小覷,目前只有微軟擁有與之相當(dāng)?shù)挠嬎隳芰。Meta發(fā)布的一篇技術(shù)博客稱,到2024年底,該公司將再購350000個英偉達(dá)H100 GPU,算上其他GPU,其算力相當(dāng)于近600000個H100。
LLaMA 3即將登場 參數(shù)量或達(dá)1400億
在4月9日倫敦舉行的一次活動中,Meta確認(rèn)計劃在下個月內(nèi)首次發(fā)布LLaMA 3。Meta全球事務(wù)總裁Nick Clegg表示:“在下個月內(nèi),甚至是在很短的時間內(nèi),我們希望推出新的下一代基礎(chǔ)模型套件LLaMA 3!
從Nick Clegg的表述上看,LLaMA 3將有多個不同功能的版本。“今年內(nèi),我們將發(fā)布一系列具有不同功能、不同通用性的模型,很快就會開始發(fā)布!
同時,Meta首席產(chǎn)品官Chris Cox補(bǔ)充稱,Meta計劃用LLaMA 3為Meta的多個產(chǎn)品提供支持。
值得注意的是,LLaMA 3將延續(xù)Meta一直以來的開源路線。
與OpenAI堅持的閉源路線和大參數(shù)LLM不同,Meta從一開始就選擇了開源策略和小型化LLM。
2023年2月,Meta在其官網(wǎng)公開發(fā)布了LLaMA大模型,與GPT系列模型類似,LLaMA也是一個建立在Transformer基礎(chǔ)架構(gòu)上的自回歸語言模型。
LLaMA包括70億、130億、330億、650億這四種參數(shù)規(guī)模,旨在推動LLM的小型化和平民化研究。相比之下,GPT-3最高則達(dá)到了1750億的參數(shù)規(guī)模。Meta在當(dāng)時的論文中總結(jié)稱,盡管體積小了10倍以上,但LLaMA(130億參數(shù))的性能優(yōu)于GPT-3。
一般來說,較小的模型成本更低,運(yùn)行更快,且更容易微調(diào)。正如Meta首席執(zhí)行官扎克伯格在此前的財報電話會議中稱,開源模型通常更安全、更高效,而且運(yùn)行起來更具成本效益,它們不斷受到社區(qū)的審查和開發(fā)。
談及開源問題,扎克伯格在接受外媒The Verge采訪時曾表示:“我傾向于認(rèn)為,最大的挑戰(zhàn)之一是,如果你打造的東西真的很有價值,那么它最終會變得非常集中和狹隘。如果你讓它更加開放,那么就能解決機(jī)會和價值不平等可能帶來的大量問題。因此,這是整個開源愿景的重要組成部分!
除此之外,小型模型還便于開發(fā)者在移動設(shè)備上開發(fā)AI軟件,這也是LLaMA系列模型自開源以來就獲得開發(fā)者廣泛關(guān)注的原因。當(dāng)前,Github上許多模型都是基于LLaMA系列模型而開發(fā)。
去年7月,Meta發(fā)布了LLaMA 2。當(dāng)時,Meta也采用了先發(fā)小模型的策略。在發(fā)布700億參數(shù)的LLaMA 2大規(guī)模版本之前,Meta先行推出了130億和70億參數(shù)的小型版本。
不過,根據(jù)相關(guān)的測試,LLaMA 2拒絕回答一些爭議性較小的問題,例如如何對朋友惡作劇或怎樣“殺死”汽車發(fā)動機(jī)等。近幾個月來,Meta 一直在努力使LLaMA 3在回答有爭議的問題上更開放,也更準(zhǔn)確。
盡管Meta沒有透露LLaMA 3的參數(shù)規(guī)模,但從The Information的報道來看,作為對標(biāo)GPT-4的大模型,LLaMA 3的大規(guī)模版本參數(shù)量據(jù)悉可能超過1400億,這與最大版本的LLa-MA 2相比提升了一倍。
在整個開源模型界,競爭正在變得愈發(fā)激烈,開源大模型亦進(jìn)化得越來越強(qiáng)大。
今年2月,谷歌罕見地改變了去年堅持的大模型閉源策略,推出了開源大模型Gemma;3月,馬斯克也開源了旗下xAI公司的Grok- 1模型。根據(jù)Gemma和Grok-1的性能測試文檔,它們在數(shù)學(xué)、推理、代碼等多項基準(zhǔn)測試方面的性能均超過了同規(guī)模的LLaMA 2模型。
截至目前,包括谷歌、xAI、Mistral AI、DataBricks和StabilityAI等在內(nèi)的多家科技公司發(fā)布了開源的大模型。有業(yè)內(nèi)人士此前在接受《每日經(jīng)濟(jì)新聞》記者采訪時說道:“開源是大勢所趨,我認(rèn)為Meta正在引領(lǐng)這一趨勢,其次是Mistral AI、HuggingFace等規(guī)模較小的公司!
“狂卷”AGI 豪擲百億美元囤芯片
作為開源模型界的“扛把子”,Meta在AI基礎(chǔ)設(shè)施上的投入亦不可小覷。
實際上,Meta上個月曾發(fā)布一篇技術(shù)博客,展示了自己擁有的算力資源,以及布局AI基礎(chǔ)設(shè)施的細(xì)節(jié)和路線圖。該公司稱,其長期愿景是構(gòu)建開放且負(fù)責(zé)任的通用人工智能(AGI),以便讓每個人都能廣泛使用并從中受益。
Meta在博客中寫道:“到2024年底,我們的目標(biāo)是繼續(xù)擴(kuò)大(AI)基礎(chǔ)設(shè)施建設(shè),其中包括350000個英偉達(dá)H100 GPU,這是其產(chǎn)品組合的一部分,算上其他,其算力相當(dāng)于近600000個H100!睋(jù)悉,目前只有微軟擁有與之相當(dāng)?shù)挠嬎隳芰。按照亞馬遜給出的價格來算,一塊H100芯片大約3萬美元,350000個H100的價格就是105億美元(約合760億元人民幣)。
在這份文檔中,Meta也透露了一些用于訓(xùn)練LLaMA 3的集群細(xì)節(jié),該集群由24576個英偉達(dá)H100 GPU構(gòu)成。
據(jù)市場跟蹤公司Omdia去年發(fā)布的一份報告,Meta和微軟是英偉達(dá)H100 GPU的最大買家。據(jù)其估算,上述兩家公司在2023年各自采購了150000個H100 GPU,是谷歌、亞馬遜、甲骨文等科技公司所購的H100 GPU數(shù)量的三倍以上。
在前述文檔中,Meta也重申了將堅持一貫以來的開源路線,“Meta始終致力于人工智能軟件和硬件的開放創(chuàng)新。我們相信開源硬件和軟件將永遠(yuǎn)是幫助行業(yè)大規(guī)模解決問題的寶貴工具!
值得一提的是,憑借AI上的投入,扎克伯格在福布斯最新發(fā)布的2024(第38屆)全球億萬富豪榜上居第四,資產(chǎn)凈值為1770億美元,這也是扎克伯格有記錄以來的最高排名。以美元計算,扎克伯格的資產(chǎn)凈值在過去一年增長最多,共增加1126億美元,增幅為174.8%。