飛象網(wǎng)訊 (易歡)4月10日消息,以“共創(chuàng)云網(wǎng)智聯(lián)新時代 釋放數(shù)實融合新動能”為主題的“2024年云網(wǎng)智聯(lián)大會”在今天舉辦。中國電信科技委主任韋樂平出席活動并發(fā)表了在人工智能時代大模型的發(fā)展與思考,他表示,大模型的價值在應(yīng)用。
他指出,在最尖端領(lǐng)域,存在高技術(shù)、高投入、高能耗、高風(fēng)險的弊端,僅ChatGPT等5-6個基礎(chǔ)大模型能夠長期存活。在次尖端領(lǐng)域,行業(yè)大模型層出不窮,成千上萬,各領(lǐng)風(fēng)騷。而泛在應(yīng)用無窮無盡,是各類大模型真正體現(xiàn)價值和商業(yè)落地的地方。
與此同時,韋樂平強調(diào),小模型的作用也不容忽視。究其原因,大模型訓(xùn)練所需要的技術(shù)、算力、語料以及成本很高,卻通而不專,在面向具體運行環(huán)境的適應(yīng)性和經(jīng)濟(jì)性方面,往往小模型更加實用、省錢、省力、省時間。
目前已經(jīng)有多種小模型產(chǎn)品問世,技術(shù)角度看,有兩大方向。一是知識蒸餾,主要對大模型進(jìn)行裁剪、優(yōu)化,使訓(xùn)練好的模型的體積和尺寸更小、成本更低、更適合具體部署環(huán)境的實際需求。二是微型機器學(xué)習(xí)(TinyML),旨在低于1mW功耗下(如紐扣電池)運行機器學(xué)習(xí),解決成本和功率受限系統(tǒng)中完成機器學(xué)習(xí)任務(wù),是物聯(lián)網(wǎng)領(lǐng)域AI的主要方向之一。