飛象網(wǎng)訊 1月29日午間消息,百川智能宣布發(fā)布超千億參數(shù)的大語言模型Baichuan 3。在 CMMLU、GAOKAO 和 AGI-Eval 等評測中,Baichuan 3 號稱在中文任務上超越了 GPT-4。
據(jù)介紹,百川智能在 Baichuan 3 訓練過程中提出了“動態(tài)數(shù)據(jù)選擇”、“重要度保持”以及“異步 CheckPoint 存儲”等多種技術手段及方案,穩(wěn)定訓練時間達到一個月以上,故障恢復時間不超過 10 分鐘。
百川智能官方表示,Baichuan 3 還突破“迭代式強化學習”技術,進一步提升了語義理解和生成能力,在詩詞創(chuàng)作的格式、韻律、表意等方面進行了提升,對于宋詞這種格式多變,結構深細、韻律豐富的高難度文體,生成的內(nèi)容亦能工整對仗、韻腳和諧,讓每個人都能創(chuàng)作出詠物、寄思的五言律詩、七言絕句,寫下的言志、抒情的“沁園春”、“定風波”。
據(jù)介紹,面向醫(yī)療行業(yè),百川智能在模型預訓練階段構建了超過千億Token的醫(yī)療數(shù)據(jù)集,該數(shù)據(jù)集涵蓋了從理論到實際操作,從基礎理論到臨床應用等各個方面的醫(yī)學知識,確保了模型在醫(yī)療領域的專業(yè)度和知識深度。在對邏輯推理能力及專業(yè)性要求極高的MCMLE、MedExam等權威醫(yī)療評測上的中文效果同樣超過了GPT-4。