首頁|必讀|視頻|專訪|運營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片|報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 必讀 >> 正文

性能提升30%!中國電信進一步開源12B星辰大模型

2024年4月16日 19:13  CCTIME飛象網(wǎng)  

飛象網(wǎng)訊 近日中國電信開源12B參數(shù)規(guī)模星辰語義大模型TeleChat-12B,相較1月開源7B版本,內(nèi)容、性能和應用等方面整體效果提升30%,其中,多輪推理、安全問題等領域提升超40%。在C-eval、MMLU、AGIEVAL等國際權(quán)威榜單上,排名處于國內(nèi)同級別參數(shù)開源模型的前列,進一步促進大模型開源生態(tài)繁榮,助力AI產(chǎn)業(yè)加速高質(zhì)量發(fā)展。另據(jù)悉,中國電信將于年內(nèi)開源千億級參數(shù)大模型。

中國電信人工智能研究院(TeleAI)堅持完全自研自主可控,在中國電信首席技術(shù)官、人工智能首席科學家、TeleAI院長李學龍帶領下,加快研發(fā)創(chuàng)新,不斷優(yōu)化底層模型結(jié)構(gòu),解除Word Embedding與lmhead共享參數(shù),有效提升模型穩(wěn)定性和訓練效果,并基于精細化的CheckPoint效果驗證,進行動態(tài)的數(shù)據(jù)配比優(yōu)化調(diào)整,大幅提升模型訓練效果。

海量高質(zhì)量數(shù)據(jù)是保證大模型效果的基礎,TeleChat-12B將7B版本1.5T訓練數(shù)據(jù)提升至3T,優(yōu)化數(shù)據(jù)清洗、標注策略,持續(xù)構(gòu)建專項任務SFT(監(jiān)督微調(diào))數(shù)據(jù),優(yōu)化數(shù)據(jù)構(gòu)建規(guī)范,大大提升數(shù)據(jù)質(zhì)量;同時,基于電信星辰大模型用戶真實回流數(shù)據(jù),優(yōu)化獎勵模型和強化學習模型,有效提升模型問答效果。

TeleAI通過更徹底地開源推動大模型技術(shù)進步和大模型國產(chǎn)化進程。此次開源提供基礎模型以及基于相應版本的對話模型、不僅支持傳統(tǒng)的全量參數(shù)更新還支持 LoRA 等只更新部分參數(shù)的高效微調(diào)方法、支持Deepspeed微調(diào)、支持int8、int4量化和國產(chǎn)芯片訓練推理,推動大模型國產(chǎn)化進程。

加速探索創(chuàng)新的同時,星辰大模型也在深入推動人工智能與各行各業(yè)的融合,積極探索新興的應用場景。星辰語義大模型已應用于行文寫作、代碼編程、網(wǎng)絡故障分析以及經(jīng)營分析等場景,以行文寫作為例,其平均生成字數(shù)超過1500字,有效采納率達到85.7%;在對外企事業(yè)單位客戶的業(yè)務中,星辰語義大模型支持企業(yè)經(jīng)營分析、政務公開咨詢、民生訴求接待等場景,可覆蓋95%的實際業(yè)務場景,多輪理解準確率達到90%。除傳統(tǒng)行業(yè)應用場景,星辰大模型積極探索前沿領域應用,賦能具身智能,解決無人機編排投入多、開發(fā)量大的問題,實現(xiàn)無人機智能編排輕量化建設。

據(jù)悉,星辰大模型已廣泛應用落地,賦能千行百業(yè)轉(zhuǎn)型升級?头竽P驮谌珖圏c上線18個服務場景,充分賦能智慧客服和數(shù)字人,在激活十億級的日志、百億級的網(wǎng)絡參數(shù)等海量數(shù)據(jù)資產(chǎn)的基礎上,進一步深化智能化運營;星辰政務大模型已落地某市民生訴求場景,為市民提供在線文本問答服務,提升政務服務能力,提高市民滿意度;星辰經(jīng)分大模型已落地某市經(jīng)信局行業(yè)大模型,利用大模型生成能力快速草擬相關(guān)產(chǎn)業(yè)研究報告,簡化知識檢索流程,快速、精準查詢所需知識內(nèi)容,以便迅速、準確地掌握發(fā)展動態(tài),支持決策過程,并追蹤全球經(jīng)濟形勢和科技創(chuàng)新,滿足迫切的產(chǎn)業(yè)洞察和分析需求。

編 輯:馬秋月
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構(gòu)成任何投資及應用建議。如網(wǎng)站內(nèi)容涉及作品版權(quán)和其它問題,請在30日內(nèi)與本網(wǎng)聯(lián)系,我們將在第一時間刪除內(nèi)容。本站聯(lián)系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進行的“內(nèi)容核實”、“商務聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
鄔賀銓:大模型下沉到手機 將激活萬億元規(guī)模手機產(chǎn)業(yè)
精彩專題
CES 2024國際消費電子展
2023年信息通信產(chǎn)業(yè)盤點暨頒獎禮
飛象網(wǎng)2023年手機評選
第24屆中國國際光電博覽會
CCTIME推薦
關(guān)于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務業(yè)務經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復制、鏡像