今天 ，OpenAI 開源了倆模型：120B/20B

117B 的gpt-oss-120b對標 o4-min，按官方說法至少需要80G 內(nèi)存，推薦使用單卡 H100 GPU

而剛買的的游戲本，剛好滿足gpt-oss-120b的部署條件

Rog 幻X，集顯比肩 4060，還有 128G 統(tǒng)一內(nèi)存

這里面是AMD的395+ & 8060s（非常 YES），128G 統(tǒng)一內(nèi)存
（說上面這些，就是來炫耀下我的本子）
（略略略～）

在測試后，發(fā)現(xiàn)部署 oss 并不需要 80G 顯存，64G 就夠了

我的實際運行信息

以下是詳細的部署
以及：并不需要 80G 顯存，64G 就夠了

部署工作

OpenAI 為gpt-oss系列模型，提供了完善的私有化部署支持，使用原生MXFP4量化，極大的降低了顯存的使用

在工具層面，支持多種主流部署方法，包括：Transformers、vLLM、PyTorch / Triton、Ollama、LM Studio

這里，我用的是 LM Studio，可以在官網(wǎng)進行下載安裝

https://lmstudio.ai/

進入 LM Studio 之后，可以直接搜索gpt-oss-120b并下載
模型較大，有幾十個G，下載要一點時間

下載這個模型，花了我差不多倆小時 模型配置

模型下完后，還無法立即運行
雖說是統(tǒng)一內(nèi)存，但默認分給顯卡的，只有4G（剩下的全部算顯存了）

在硬件信息里，可以看到只有4G顯存

明顯不滿足條件，需要手工修改一下內(nèi)存分配
這里我把 64G 內(nèi)存分配給了顯存
（并不需要宣稱的 80G）

打開 AMD Software，可手動調節(jié)

完成后，點擊 LM Studio 中的「載入模型」

載入模型，需要差不多半分鐘時間

模型順利載入，顯示部署成功

推理效果

OpenAI 這模型，可選多種推理強度，包括“低”、“中”、“高”

點擊 Resoning Effort，選擇推理強度

詢問單詞「strawberry」包含幾個字母「r」：

低強度模式：約需10秒

高強度模式：耗時約1分鐘

這個模型還支持更多的工具調用，比如可以自行配置 MCP

額外注意

在部署中，也有兩個細節(jié)問題，分享如下：

Runtime 選擇

LM Studio 提供了多種 Runtime 選項，包括 CUDA、Vulkan、ROCm llama.cpp、CPU llama.cpp 等

主流 Runtime Extention 都有，右側我選了 Vulkan

我使用的是 AMD 平臺，顯然無法使用 NVIDIA 的 CUDA 加速

不適配的，會顯示 Not Compatible

理論上，ROCm更適合 AMD，但目前尚未支持 OpenAI 最新的gpt-oss系列模型

ROCm 剛剛更新了 GLM4.1

最終，我選擇了Vulkan作為 runtime。這是一個跨平臺的通用加速方案，且在最新版本的 LM Studio 中已經(jīng)對 OpenAI 的 oss 做了適配

Vulkan 支持了 gpt-oss

而 CPU llama.cpp 顯然不是首選，畢竟這是 CPU 的

這東西也支持了 gpt-oss，但會卡死 顯存過高導致的問題

最開始的時候，我把顯存分配拉高到 96GB，但這導致模型載入失敗

內(nèi)存不夠，也會載入失敗

仔細排查了下，發(fā)現(xiàn)模型載入過程本身還需要約 40G 的內(nèi)存

一共 128G 內(nèi)存

所以，這里推薦將顯存分配設為 64GB，能保證完美運行

總結

其一、OpenAI 的量化，是貼心的
其二、AMD，Yes！