OpenAI向開源模型邁出重要一步:六年來首次推出開放權(quán)重模型。
美東時間8月5日周二,OpenAI發(fā)布了兩個開放權(quán)重語言模型gpt-oss-120b和gpt-oss-20b。這是OpenAI自2019年推出GPT-2以來首次發(fā)布開放權(quán)重模型,也是OpenAI與微軟簽署獨家云服務(wù)協(xié)議六年來問世的首批此類模型。
評論認(rèn)為,OpenAI的新模型直接回應(yīng)了Meta、微軟支持的Mistral AI以及中國初創(chuàng)新星DeepSeek等競爭對手在開放權(quán)重模型領(lǐng)域的挑戰(zhàn)。
CEO Sam Altman在社交媒體表示:
"gpt-oss是一個重大突破,這是最先進(jìn)的開放權(quán)重推理模型,具有與o4-mini相當(dāng)?shù)膹?qiáng)大現(xiàn)實世界性能,可以在你自己的電腦(或手機(jī)的較小版本)上本地運(yùn)行。我們相信這是世界上最好、最實用的開放模型。"
gpt-oss-120b和gpt-oss-20b被設(shè)計為低成本的GPT模型選項,開發(fā)者、研究人員和企業(yè)可以輕松運(yùn)行和定制。gpt-oss-20b可在16GB內(nèi)存的筆記本電腦上運(yùn)行,gpt-oss-120b需要約80GB內(nèi)存,兩款模型均支持高級推理、工具使用和思維鏈處理。
Altman稱,這兩款模型可在個人電腦(PC)甚至手機(jī)上本地運(yùn)行,無需互聯(lián)網(wǎng)連接,為用戶提供完全的控制權(quán)和隱私保護(hù)。
同時,亞馬遜宣布將首次向客戶提供OpenAI的模型,計劃在其Bedrock和SageMaker平臺上提供OpenAI的開放AI權(quán)重新模型。這是云計算巨頭亞馬遜首次提供OpenAI的產(chǎn)品。
gpt-oss-20b和120b的發(fā)布標(biāo)志著OpenAI戰(zhàn)略轉(zhuǎn)向的重要節(jié)點,此前該公司多次推遲開放權(quán)重模型發(fā)布,并進(jìn)行了廣泛的安全測試和評估,以確保模型不被惡意利用。
所謂的開放權(quán)重是介于開源和閉源的一種中間形態(tài),意味著企業(yè)和政府機(jī)構(gòu)可以自主運(yùn)行該模型,因為他們可以查看模型的權(quán)重并進(jìn)行修改。而開源的情況下,用戶可以查看模型的源代碼組成,有時包括訓(xùn)練和權(quán)重分配方式。
此前評論認(rèn)為,OpenAI推出開放權(quán)重模型可能削弱微軟在AI業(yè)務(wù)中的獨家優(yōu)勢。本周二OpenAI稱,微軟會將gpt-oss-20b 模型的 GPU 優(yōu)化版本引入 Windows 設(shè)備。這些模型由ONNX Runtime支持,支持本地推理,可通過Foundry Local 和 AI Toolkit for VS Code 獲取,從而讓W(xué)indows 開發(fā)者更輕松地使用開放模型進(jìn)行構(gòu)建。
gpt-oss-120b部分測試性能甚至超過o4-mini 20b部分測試超過o3?mini
OpenAI介紹,兩款gpt-oss模型采用了其最先進(jìn)的預(yù)訓(xùn)練和后訓(xùn)練技術(shù),特別注重推理、效率和跨部署環(huán)境的實用性。它們都是使用專家混合(MoE)架構(gòu)的Transformer,以減少處理輸入所需的活躍參數(shù)數(shù)量。
gpt-oss-120b每個token激活5.1億參數(shù),總參數(shù)量為1170億;gpt-oss-20b激活3.6B參數(shù),總參數(shù)量為210億。模型使用交替的密集和局部帶狀稀疏注意力模式,支持高達(dá)128k的上下文長度。
OpenAI稱gpt-oss-20b是一款中型開放模型,gpt-oss-120b則是可在“大多數(shù)臺式機(jī)和筆記本電腦”上運(yùn)行的大型開放模型。
OpenAI 表示,較小的模型至少需要 16GB 顯存或統(tǒng)一內(nèi)存才能發(fā)揮最佳性能,并且“非常適合高端消費(fèi)級GPU和搭載蘋果芯片的Mac電腦”。較大的全尺寸模型則需要至少 60GB 顯存或統(tǒng)一內(nèi)存。
在性能評估方面,OpenAI披露,gpt-oss-120b在核心推理基準(zhǔn)測試中接近OpenAI o4-mini的表現(xiàn)。較小的gpt-oss-20b模型在相同評估中達(dá)到或超過OpenAI o3-mini的性能。
gpt-oss-120b在競賽編碼(Codeforces)、通用問題求解(MMLU 和 HLE)以及工具調(diào)用(TauBench)方面均優(yōu)于 OpenAI o3?mini,并匹敵甚至超越了 OpenAI o4-mini。它在健康相關(guān)查詢(HealthBench?)和競賽數(shù)學(xué)(AIME 2024 和 2025)方面的表現(xiàn)甚至超過o4-mini。
即使規(guī)模較小,gpt-oss-20b在上述同類的評估中也匹敵甚至超越了OpenAI o3?mini,甚至在競賽數(shù)學(xué)和健康方面也超越了后者。
安全防護(hù)與惡意使用預(yù)防
OpenAI對開放權(quán)重模型的安全性給予了特別關(guān)注,因為一旦發(fā)布,對手可能對模型進(jìn)行惡意微調(diào)。該公司在預(yù)訓(xùn)練期間過濾了與化學(xué)、生物、放射性和核(CBRN)相關(guān)的有害數(shù)據(jù)。
為直接評估風(fēng)險,OpenAI對模型進(jìn)行了專門的生物學(xué)和網(wǎng)絡(luò)安全數(shù)據(jù)微調(diào),創(chuàng)建了攻擊者可能制作的特定領(lǐng)域非拒絕版本。經(jīng)過內(nèi)部和外部測試,這些惡意微調(diào)的模型無法達(dá)到其準(zhǔn)備框架中的"高能力"閾值。
OpenAI還與三個獨立專家組合作,對其惡意微調(diào)評估提供反饋。Altman強(qiáng)調(diào):"我們努力減輕最嚴(yán)重的安全問題,特別是在生物安全方面。gpt-oss模型在內(nèi)部安全基準(zhǔn)測試中的表現(xiàn)與我們的前沿模型相當(dāng)。"
生態(tài)系統(tǒng)部署與市場影響
兩個模型在Apache 2.0許可下免費(fèi)提供,用戶可以通過Hugging Face和GitHub等平臺下載。云服務(wù)提供商亞馬遜、Baseten和微軟也將提供這些模型。
OpenAI與包括Azure、vLLM、Ollama、AWS、Fireworks等領(lǐng)先部署平臺合作,使開發(fā)者能夠廣泛使用這些模型。微軟還將GPU優(yōu)化版本的gpt-oss-20b模型引入Windows設(shè)備。
該公司正在舉辦紅隊挑戰(zhàn)賽,獎金池為50萬美元,鼓勵全球研究人員、開發(fā)者和愛好者幫助識別新的安全問題。Altman表示:"我們相信這將帶來更多好處而非壞處,我們期待這一發(fā)布能夠?qū)崿F(xiàn)新型研究并創(chuàng)造新型產(chǎn)品。"
競爭壓力推動戰(zhàn)略轉(zhuǎn)變
OpenAI此次發(fā)布開放權(quán)重模型很大程度上受到市場競爭壓力驅(qū)動,特別是來自中國DeepSeek的挑戰(zhàn)。自2019年以來,該公司一直專注于通過API提供專有模型服務(wù),而競爭對手紛紛推出開放權(quán)重替代方案。
OpenAI總裁Greg Brockman在本周二的記者會上表示:"看到生態(tài)系統(tǒng)的發(fā)展令人興奮,我們很高興能為此做出貢獻(xiàn),真正推動前沿發(fā)展,然后看看會發(fā)生什么。"
OpenAI與英偉達(dá)、AMD、Cerebras和Groq等芯片制造商合作,確保模型在各種芯片上良好運(yùn)行。英偉達(dá)CEO黃仁勛在聲明中稱:"OpenAI向世界展示了在英偉達(dá)AI上可以構(gòu)建什么——現(xiàn)在他們正在推進(jìn)開源軟件的創(chuàng)新。"
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.