金磊 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

就在剛剛，馬斯克一手開(kāi)源動(dòng)作，引發(fā)了大伙兒的高度關(guān)注——

xAI現(xiàn)在正式開(kāi)源Grok 2.5，Grok 3將在半年后開(kāi)源。

其實(shí)早在本月初的時(shí)候，馬斯克就公開(kāi)表示過(guò)：

是時(shí)候開(kāi)源Grok了，將會(huì)在下周。

雖然開(kāi)源的時(shí)間已經(jīng)超過(guò)了他說(shuō)的節(jié)點(diǎn)，但也正如網(wǎng)友所說(shuō)：

遲到總比沒(méi)有的好。

42個(gè)文件，500個(gè)G

目前，Grok已經(jīng)可以在HuggingFace中下載（鏈接附文末）：

xAI官方建議用SGLang來(lái)運(yùn)行Grok 2，具體步驟如下。

第一步，下載權(quán)重文件。

你可以把 /local/grok-2 換成任何你喜歡的文件夾名字：

hfdownload xai-org/grok-2—local-dir /local/grok-2

官方表示，這個(gè)下載過(guò)程中可能會(huì)遇到一些錯(cuò)誤，如果出錯(cuò)了，可以多試幾次直到下載成功。

下載成功后，文件夾里應(yīng)該有42個(gè)文件，大小約為500GB。

第二步，啟動(dòng)服務(wù)器。

xAI官方建議安裝最新版的SGLang推理引擎（版本號(hào) >= v0.5.1，地址為：https://github.com/sgl-project/sglang/）。

然后用下面的命令來(lái)啟動(dòng)推理服務(wù)器：

python3-m sglang.launch_server —model /local/grok-2—tokenizer-path /local/grok-2/tokenizer.tok.json —tp8—quantization fp8 —attention-backend triton

值得一提的是，這個(gè)模型需要8個(gè)GPU（每個(gè)都得有超過(guò)40GB的顯存）才能運(yùn)行。

最后一步，就是發(fā)送請(qǐng)求。

這是一個(gè)經(jīng)過(guò)預(yù)訓(xùn)練的模型，所以我們需要確保使用的是正確的聊天模板：

python3 -m sglang.test.send_one —prompt “Human: Whatisyour name?<|separator|>\n\nAssistant:”

發(fā)送請(qǐng)求后，我們就應(yīng)該能看到模型會(huì)回復(fù)它的名字了，即Grok。

那么xAI最新開(kāi)源的Grok 2，到底是什么水平？

雖然其能力定然是不及當(dāng)下的各種最先進(jìn)的主流模型，但我們可以從去年xAI發(fā)布的Grok 2相關(guān)模型的技術(shù)博客中略知一二。

當(dāng)時(shí)，它在LMSYS排行榜上，總體Elo分?jǐn)?shù)已經(jīng)超越了Claude和GPT-4。

并且在一系列學(xué)術(shù)基準(zhǔn)測(cè)試中，Grok 2系列在研究生級(jí)別科學(xué)知識(shí)（GPQA）、一般知識(shí)（MMLU、MMLU-Pro）和數(shù)學(xué)競(jìng)賽問(wèn)題（MATH）等領(lǐng)域達(dá)到了與其他前沿模型相競(jìng)爭(zhēng)的性能水平。

不過(guò)有一說(shuō)一，網(wǎng)友們雖然覺(jué)得馬斯克開(kāi)源的動(dòng)作還挺好的，但也有不少詬病的言論。

例如在HuggingFace中，我們并沒(méi)有看到xAI明確指出開(kāi)源模型的參數(shù)權(quán)重。

因此網(wǎng)友們就只能根據(jù)以往的信息，猜測(cè)它是2690億個(gè)參數(shù)的MoE模型。

其次，就是開(kāi)源協(xié)議的問(wèn)題，因?yàn)閤AI在HuggingFace中的表述是這樣的：

用網(wǎng)友的話(huà)來(lái)說(shuō)，這基本上就是一個(gè)非商業(yè)許可的：

Mistral、Qwen、DeepSeek、微軟，甚至是OpenAI都在用MIT或Apache 2.0許可來(lái)開(kāi)源模型。

以及，也是最重要的一點(diǎn)，就是運(yùn)行這個(gè)開(kāi)源模型的條件：

謝謝，我現(xiàn)在只需要8塊顯存超40GB的GPU……

Two More Thing：

除了開(kāi)源動(dòng)作之外，馬斯克還發(fā)布了Grok APP上的一些新功能。

這次的更新（v1.1.58）主要是聚焦在了AI視頻生成，具體效果如下：

感興趣的小伙伴可以在A(yíng)PP上體驗(yàn)嘍。

以及馬斯克還發(fā)了一段有趣的言論：

xAI很快就會(huì)超越除谷歌外的任何公司（然后也將超越谷歌），但中國(guó)公司才是最大對(duì)手。

參考鏈接：
[1]https://x.com/elonmusk/status/1959379349322313920
[2]https://x.com/HuggingPapers/status/1959345658361475564
[3]https://x.com/elonmusk/status/1959384678768447976
[4]https://x.com/elonmusk/status/1959388879888302363