飛象網(wǎng)訊 （易歡）4月10日消息，以“共創(chuàng)云網(wǎng)智聯(lián)新時代 釋放數(shù)實融合新動能”為主題的“2024年云網(wǎng)智聯(lián)大會”在今天舉辦。中國電信科技委主任韋樂平出席活動并發(fā)表了在人工智能時代大模型的發(fā)展與思考，他表示，大模型的價值在應(yīng)用。
他指出，在最尖端領(lǐng)域，存在高技術(shù)、高投入、高能耗、高風(fēng)險的弊端，僅ChatGPT等5-6個基礎(chǔ)大模型能夠長期存活。在次尖端領(lǐng)域，行業(yè)大模型層出不窮，成千上萬，各領(lǐng)風(fēng)騷。而泛在應(yīng)用無窮無盡，是各類大模型真正體現(xiàn)價值和商業(yè)落地的地方。
與此同時，韋樂平強調(diào)，小模型的作用也不容忽視。究其原因，大模型訓(xùn)練所需要的技術(shù)、算力、語料以及成本很高，卻通而不專，在面向具體運行環(huán)境的適應(yīng)性和經(jīng)濟性方面，往往小模型更加實用、省錢、省力、省時間。
目前已經(jīng)有多種小模型產(chǎn)品問世，技術(shù)角度看，有兩大方向。一是知識蒸餾，主要對大模型進行裁剪、優(yōu)化，使訓(xùn)練好的模型的體積和尺寸更小、成本更低、更適合具體部署環(huán)境的實際需求。二是微型機器學(xué)習(xí)（TinyML），旨在低于1mW功耗下（如紐扣電池）運行機器學(xué)習(xí)，解決成本和功率受限系統(tǒng)中完成機器學(xué)習(xí)任務(wù)，是物聯(lián)網(wǎng)領(lǐng)域AI的主要方向之一。
