首頁|必讀|視頻|專訪|運(yùn)營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機(jī)|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片|報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 人工智能 >> 正文

OpenAI 發(fā)布 MMMLU 數(shù)據(jù)集:更廣、更深評估 AI 模型,支持簡體中文

2024年9月24日 15:29  IT之家  作 者:故淵

9 月 24 日消息,科技媒體 marktechpost 昨日(9 月 23 日)發(fā)布博文,報道稱 OpenAI 在 Hugging Face 上發(fā)布了多語言大規(guī)模多任務(wù)語言理解(MMMLU)數(shù)據(jù)集。

背景

隨著語言模型日益強(qiáng)大,評估其在不同語言、認(rèn)知和文化背景下的能力已成為當(dāng)務(wù)之急。

OpenAI 決定推出 MMMLU 數(shù)據(jù)集,通過提供強(qiáng)大的多語言和多任務(wù)數(shù)據(jù)集,來評估大型語言模型(LLMs)在各種任務(wù)中的性能,從而應(yīng)對這一挑戰(zhàn)。

MMMLU 數(shù)據(jù)集簡介

MMMLU 數(shù)據(jù)集包含一系列問題,涵蓋各種主題、學(xué)科領(lǐng)域和語言。其結(jié)構(gòu)旨在評估模型在不同研究領(lǐng)域中需要常識、推理、解決問題和理解能力的任務(wù)中的表現(xiàn)。

MMMLU 的創(chuàng)建反映了 OpenAI 對測量模型實(shí)際能力的關(guān)注,尤其是在 NLP 研究中代表性不足的語言,納入多種語言可確保模型在使用英語時有效,并能勝任全球使用的其他語言。

MMMLU 數(shù)據(jù)集核心

涵蓋范圍廣

MMMLU 數(shù)據(jù)集是同類基準(zhǔn)中最廣泛的基準(zhǔn)之一,涵蓋了從高中問題到高級專業(yè)和學(xué)術(shù)知識的多種任務(wù)。

研究人員和開發(fā)人員在利用 MMMLU 數(shù)據(jù)集過程中,可以調(diào)用不同難度的問題,測試大預(yù)言模型在人文、科學(xué)和技術(shù)主題下的表現(xiàn)。

更考驗(yàn)深層認(rèn)知

這些問題都經(jīng)過精心策劃,以確保對模型的測試不局限于表面理解,而是深入研究更深層次的認(rèn)知能力,包括批判性推理、解釋和跨領(lǐng)域解決問題的能力。

多語言支持

MMMLU 數(shù)據(jù)集的另一個值得注意的特點(diǎn)是它的多語言范圍,支持簡體中文。該數(shù)據(jù)集支持多種語言,可以進(jìn)行跨語言的綜合評估。

然而,以英語數(shù)據(jù)訓(xùn)練的模型在使用其他語言時往往需要幫助來保持準(zhǔn)確性和連貫性。MMMLU 數(shù)據(jù)集提供了一個框架,用于測試傳統(tǒng)上在 NLP 研究中代表性不足的語言模型,從而彌補(bǔ)了這一差距。

MMMLU 數(shù)據(jù)集意義

MMMLU 的發(fā)布解決了人工智能界的幾個相關(guān)挑戰(zhàn)。它提供了一種更具多樣性和文化包容性的方法來評估模型,確保它們在高資源和低資源語言中都能表現(xiàn)出色。

MMMLU 的多任務(wù)特性突破了現(xiàn)有基準(zhǔn)的界限,它可以評估同一模型在不同任務(wù)中的表現(xiàn),從類似瑣事的事實(shí)回憶到復(fù)雜的推理和問題解決。這樣就能更細(xì)致地了解模型在不同領(lǐng)域的優(yōu)缺點(diǎn)。

編 輯:章芳
飛象網(wǎng)版權(quán)及免責(zé)聲明:
1.本網(wǎng)刊載內(nèi)容,凡注明來源為“飛象網(wǎng)”和“飛象原創(chuàng)”皆屬飛象網(wǎng)版權(quán)所有,未經(jīng)允許禁止轉(zhuǎn)載、摘編及鏡像,違者必究。對于經(jīng)過授權(quán)可以轉(zhuǎn)載,請必須保持轉(zhuǎn)載文章、圖像、音視頻的完整性,并完整標(biāo)注作者信息和飛象網(wǎng)來源。
2.凡注明“來源:XXXX”的作品,均轉(zhuǎn)載自其它媒體,在于傳播更多行業(yè)信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé)。
3.如因作品內(nèi)容、版權(quán)和其它問題,請在相關(guān)作品刊發(fā)之日起30日內(nèi)與本網(wǎng)聯(lián)系,我們將第一時間予以處理。
本站聯(lián)系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內(nèi)容核實(shí)”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
中國電信邵廣祿:面向AI大模型的智算集群及網(wǎng)絡(luò)的實(shí)踐和展望
精彩專題
CES 2024國際消費(fèi)電子展
2023年信息通信產(chǎn)業(yè)盤點(diǎn)暨頒獎禮
飛象網(wǎng)2023年手機(jī)評選
第24屆中國國際光電博覽會
CCTIME推薦
關(guān)于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像