8 月 11 日消息，OpenAI 于 8 月 6 日推出了其最小開(kāi)源模型 gpt-oss-20b，在常見(jiàn)基準(zhǔn)測(cè)試中與 OpenAI o3‑mini 模型取得類似結(jié)果。高通今日宣布，這是 OpenAI 首個(gè)可在搭載驍龍平臺(tái)的終端側(cè)運(yùn)行的開(kāi)源推理模型。
IT之家從官方新聞稿獲悉，高通稱 gpt-oss-20b 思維鏈推理模型可直接在搭載驍龍旗艦處理器的終端上運(yùn)行。此前 OpenAI 的復(fù)雜模型僅限云端部署，這是 OpenAI 首次實(shí)現(xiàn)模型支持終端側(cè)推理。通過(guò)提前獲取模型，并結(jié)合高通 ® AI 引擎和 Qualcomm® AI Stack 進(jìn)行集成測(cè)試，我們發(fā)現(xiàn)這款 200 億參數(shù)的模型表現(xiàn)極為出色，能夠完全在終端側(cè)進(jìn)行思維鏈推理。
高通認(rèn)為這是一個(gè)關(guān)鍵轉(zhuǎn)折點(diǎn)：預(yù)示著 AI 的未來(lái)方向，即豐富復(fù)雜的助手式推理也將在本地實(shí)現(xiàn)。這也展現(xiàn)了 AI 生態(tài)系統(tǒng)的成熟性，合作伙伴和開(kāi)發(fā)者可以利用驍龍?zhí)幚砥�，�?shí)時(shí)采用 OpenAI 等領(lǐng)軍企業(yè)的開(kāi)源創(chuàng)新成果。OpenAI 的 gpt-oss-20b 將助力終端設(shè)備利用終端側(cè)推理，帶來(lái)隱私保護(hù)和時(shí)延方面的優(yōu)勢(shì)，同時(shí)通過(guò) AI 智能體為云端解決方案提供支持。
高通稱，通過(guò)提前獲取 gpt-oss-20b 模型，并結(jié)合 Qualcomm AI Stack 進(jìn)行集成測(cè)試，見(jiàn)證了該模型的卓越能力，它能完全在終端側(cè)進(jìn)行復(fù)雜推理。開(kāi)發(fā)者將可通過(guò) Hugging Face 和 Ollama 等主流平臺(tái)獲取該模型，并在搭載驍龍平臺(tái)的終端上發(fā)揮其性能。更多部署詳情即將在 Qualcomm AI Hub 上公布。
將 Ollama 的輕量級(jí)的開(kāi)源 LLM 服務(wù)框架和強(qiáng)大的驍龍平臺(tái)集成，開(kāi)發(fā)者和企業(yè)不僅可以直接在搭載驍龍計(jì)算平臺(tái)的終端上運(yùn)行 gpt-oss-20b 模型，還能夠進(jìn)行網(wǎng)頁(yè)搜索等多個(gè)默認(rèn)特性，無(wú)需額外配置。用戶也可以在 Ollama 上嘗試 Turbo 模式，以探索該模型的更多功能。
