月之暗面近期宣布,支持200萬漢字超長(zhǎng)無損上下文的Kimi智能助手正在內(nèi)測(cè)。隨后,阿里、360集團(tuán)、百度等公司緊急“出手”,紛紛入局長(zhǎng)文本大模型賽道,推動(dòng)人工智能領(lǐng)域投資熱情進(jìn)一步升溫。
機(jī)構(gòu)人士表示,相比海外大模型,國(guó)產(chǎn)模型在中文長(zhǎng)文本理解方面具備比較優(yōu)勢(shì),基礎(chǔ)模型能力提升有望推動(dòng)下游應(yīng)用快速發(fā)展。AI模型、語料庫、算力租賃及運(yùn)維等領(lǐng)域?qū)⒊掷m(xù)受益。
● 本報(bào)記者 彭思雨 見習(xí)記者 陳子軒
取得技術(shù)突破
近期,AI大模型產(chǎn)品Kimi智能助手因能穩(wěn)定分析處理200萬漢字長(zhǎng)文“一炮走紅”。Kimi智能助手是初創(chuàng)公司月之暗面于2023年10月發(fā)布的產(chǎn)品。該公司創(chuàng)立于2023年3月,由清華大學(xué)交叉信息學(xué)院楊植麟教授領(lǐng)銜。今年3月18日,月之暗面宣布,Kimi智能助手再次取得技術(shù)突破,支持200萬漢字上下文的Kimi智能助手已經(jīng)啟動(dòng)“內(nèi)測(cè)”。
隨之而來,360集團(tuán)、阿里、百度等頭部廠商紛紛宣布升級(jí)AI大模型技術(shù)。3月22日,阿里通義千問宣布,向所有人免費(fèi)開放1000萬字的長(zhǎng)文檔處理功能。3月23日,360智腦宣布正式內(nèi)測(cè)500萬字長(zhǎng)文本處理功能。該功能即將入駐360AI瀏覽器。同時(shí),360AI瀏覽器APP即將上線。另外,百度文心一言4月份將進(jìn)行版本升級(jí),屆時(shí)將開放長(zhǎng)文本處理能力,文字范圍在200萬-500萬字。
“大模型升級(jí)文本長(zhǎng)度,是市場(chǎng)需求的直接反映。”人工智能領(lǐng)域天使投資人郭濤向中國(guó)證券報(bào)記者表示,“長(zhǎng)文本處理需求持續(xù)增加,如學(xué)術(shù)論文、法律文件、新聞報(bào)道等。而長(zhǎng)文本處理能力的提升,能夠更好地模擬復(fù)雜的人類語言交流,包括理解長(zhǎng)篇文獻(xiàn)、撰寫長(zhǎng)篇文章等!
賽智產(chǎn)業(yè)研究院院長(zhǎng)趙剛告訴記者,提升長(zhǎng)文本處理能力,可以解決當(dāng)前大語言模型應(yīng)用中的痛點(diǎn),使得大模型商業(yè)化應(yīng)用更加成熟,更容易被用戶接受。在新的用戶需求牽引下,未來長(zhǎng)文本處理能力可能成為大模型的標(biāo)配。率先布局長(zhǎng)文本訓(xùn)練和推理的大模型企業(yè),在未來的競(jìng)爭(zhēng)中將占據(jù)有利地位。
拓展應(yīng)用領(lǐng)域
“從文本處理穩(wěn)定性方面看,Ki-mi比ChatGPT更勝一籌。使用ChatGPT分析長(zhǎng)文本時(shí),很容易遇到報(bào)錯(cuò)的情況,而Kimi比較少見。”一位經(jīng)常使用AI大模型工具處理文本的留學(xué)生告訴中國(guó)證券報(bào)記者。
200萬到1000萬漢字,國(guó)產(chǎn)大模型中文文本處理能力飛速提升。據(jù)了解,目前海外主流AI大模型GPT-4 Turbo-128k公布的文本范圍約為10萬漢字,而Claude 3200k約為16萬漢字。
趙剛認(rèn)為,從實(shí)際應(yīng)用出發(fā),國(guó)內(nèi)大模型廠商闖出一條創(chuàng)新升級(jí)的新路線,很大程度上縮小了與海外Open AI等大模型企業(yè)的差距。
郭濤表示,長(zhǎng)文本處理能力是衡量模型泛化能力的一項(xiàng)重要指標(biāo),其能夠更好地反映模型在處理未知或復(fù)雜數(shù)據(jù)時(shí)的表現(xiàn),反映出國(guó)產(chǎn)大模型企業(yè)在自然語言處理(NLP)領(lǐng)域的技術(shù)創(chuàng)新能力。
文本長(zhǎng)度的突破會(huì)帶來哪些應(yīng)用前景?趙剛認(rèn)為,長(zhǎng)文本處理能力主要應(yīng)用于知識(shí)密集的業(yè)務(wù)場(chǎng)景,比如生產(chǎn)活動(dòng)中的編制計(jì)劃、設(shè)計(jì)方案、廣告創(chuàng)意等;管理活動(dòng)中的文案撰寫、合同編制等;文化教育中的論文撰寫、小說撰寫、劇本編寫等應(yīng)用場(chǎng)景。
文本處理功能擴(kuò)容帶來的應(yīng)用創(chuàng)新已經(jīng)嶄露頭角。近日,華東師范大學(xué)王峰教授團(tuán)隊(duì)發(fā)布國(guó)內(nèi)第一部人機(jī)融合式長(zhǎng)篇小說《天命使徒》,采用國(guó)內(nèi)大語言模型+提示詞工程+人工后期潤(rùn)色,整部小說超過100萬字。據(jù)介紹,該團(tuán)隊(duì)將打造一個(gè)可供公眾使用的長(zhǎng)篇小說創(chuàng)作平臺(tái),將好的創(chuàng)意與平臺(tái)的自動(dòng)寫作服務(wù)結(jié)合起來,讓人人皆可寫作長(zhǎng)篇小說。團(tuán)隊(duì)的下一個(gè)目標(biāo)是將同等體量小說創(chuàng)作由一個(gè)半月縮短為兩至三周。
值得注意的是,業(yè)內(nèi)人士認(rèn)為,文本長(zhǎng)度只是反映大模型能力的一個(gè)側(cè)面,并非評(píng)判模型訓(xùn)練能力的唯一標(biāo)準(zhǔn)。郭濤表示,模型的訓(xùn)練能力還包括對(duì)不同類型數(shù)據(jù)的處理能力、模型的穩(wěn)定性、可擴(kuò)展性等多個(gè)維度。
“在多模態(tài)、參數(shù)規(guī)模、通用性等方面,我們與Open AI等海外企業(yè)還有一定距離!壁w剛坦言。
相關(guān)產(chǎn)業(yè)鏈?zhǔn)芤?/STRONG>
長(zhǎng)文本處理能力對(duì)數(shù)據(jù)和算力提出了更高要求。郭濤告訴記者,首先,訓(xùn)練能夠處理長(zhǎng)文本的模型,需要大量的高質(zhì)量長(zhǎng)文本數(shù)據(jù)。這些數(shù)據(jù)需要具備多樣性和代表性,確保大模型能夠?qū)W習(xí)到廣泛的語言模式和知識(shí)。其次,長(zhǎng)文本處理通常需要更復(fù)雜的模型結(jié)構(gòu),會(huì)直接增加模型訓(xùn)練的計(jì)算成本。更大的模型意味著更多的參數(shù)需要調(diào)整,需要更多算力以加速訓(xùn)練過程。
大模型升級(jí)對(duì)AI算力、數(shù)據(jù)賽道的催化作用已經(jīng)體現(xiàn)在二級(jí)市場(chǎng)。Wind數(shù)據(jù)顯示,近20日內(nèi),AI算力指數(shù)上漲11.56%,數(shù)據(jù)要素概念指數(shù)上漲11.94%,IDC(算力租賃)概念指數(shù)上漲13.41%。
算力方面,科大訊飛3月23日在投資者互動(dòng)平臺(tái)上表示,科大訊飛算力能夠滿足未來一段時(shí)間AI算法模型訓(xùn)練和推理的需求。景嘉微3月22日表示,公司景宏系列高性能智算模塊及整機(jī)產(chǎn)品可面向AI訓(xùn)練、AI推理和科學(xué)計(jì)算等應(yīng)用領(lǐng)域。
數(shù)據(jù)方面,海天瑞聲3月22日在投資者互動(dòng)平臺(tái)上表示,公司致力于為AI產(chǎn)業(yè)鏈各類機(jī)構(gòu)提供算法模型開發(fā)訓(xùn)練所需的專業(yè)數(shù)據(jù)集。例如,常規(guī)的結(jié)構(gòu)化數(shù)據(jù)分割、信息提取整合、文本摘要等。同時(shí),公司可提供大模型強(qiáng)化學(xué)習(xí)相關(guān)數(shù)據(jù)處理服務(wù)。例如,對(duì)prompt的改寫、分類以及其回復(fù)內(nèi)容續(xù)寫改寫等。不過,公司過往并未向月之暗面提供過相關(guān)訓(xùn)練數(shù)據(jù)。
華西證券認(rèn)為,相比海外大模型,國(guó)產(chǎn)模型在中文長(zhǎng)文本理解方面具備比較優(yōu)勢(shì),能夠有效提升使用者工作效率;A(chǔ)模型能力的提升有望推進(jìn)下游應(yīng)用快速發(fā)展。AI模型、語料庫、算力租賃及運(yùn)維等板塊將繼續(xù)受益。
民生證券表示,國(guó)產(chǎn)大模型再度迎來競(jìng)爭(zhēng)升級(jí),以Kimi為代表的國(guó)內(nèi)大模型用戶數(shù)量激增,AI算力需求或是今年最確定的投資主線之一。