Jay 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

在OpenAI，有一個(gè)神秘人專門負(fù)責(zé)推理用的CUDA內(nèi)核。

同事們管他叫Bob，人們會把他寫的注意力內(nèi)核親切地稱為Bob內(nèi)核。

這個(gè)內(nèi)核每天可能在數(shù)十萬張GPU上被執(zhí)行萬億次。

要知道，這個(gè)環(huán)節(jié)對精度的要求非常高，如果出bug，需要回滾checkpoint重訓(xùn)，會浪費(fèi)大量的算力資源。

有網(wǎng)友感嘆：

• 全世界能寫出高性能訓(xùn)練用CUDA內(nèi)核的人，活著的不超過100個(gè)。

就是這么一個(gè)“地獄級難度”的東西，在OpenAI居然只靠Bob一個(gè)人。

Bob內(nèi)核能力者

OpenAI前員工感嘆，Bob輕輕松松在幾分鐘內(nèi)修好了自己一周都沒搞定的問題。

其他前員工也附議，表示OpenAI對Bob的依賴極高。

公司內(nèi)部的Slack上專門有一個(gè)“Bob magic”表情包，用來來膜拜Bob——無人能不折服于他那“巫師”般的能力。

還有些員工打趣道：如果Bob心血來潮想出去度假一周，那整個(gè)公司可就要準(zhǔn)備好面臨生死存亡的終極階段了。

既然是這么重磅級的人物，怎么能逃過小扎的法眼呢？

坊間傳言，小扎已經(jīng)知道了這個(gè)消息，已經(jīng)火急火燎地安排上了，Meta明天招聘會議的Top 1事項(xiàng)就是：“Bob到底是誰！”

聽說扎總甚至還為此大動肝火（笑死）。

“小扎買買買”換新季居然能錯(cuò)過這么一個(gè)大寶貝，不禁懷疑自己每年給亞歷山大王開的1400萬美金是不是打了水漂。

Bob啊Bob，隱姓埋名這么多年，看來此次還是難逃小扎的魔爪。

像CUDA內(nèi)核這種基礎(chǔ)工程對AI公司來說實(shí)在太重要了，因此這類技術(shù)人員在硅谷往往被視為核心機(jī)密，Bob本人大概率是不會親口承認(rèn)的。

但在帖子評論區(qū)，反復(fù)地在出現(xiàn)一個(gè)名字——Scott Gray。

是他，就是他：Scott Gray

Scott Gray畢業(yè)于美國伊利諾伊大學(xué)香檳分校，修讀物理和計(jì)算機(jī)科學(xué)。

Scott是OpenAI相當(dāng)資深的技術(shù)人員，他早在2016年就加入了團(tuán)隊(duì)，主要工作是負(fù)責(zé)GPU內(nèi)核優(yōu)化。

至今，Scott一共參與寫作了51篇機(jī)器學(xué)習(xí)論文，總引用超過 80000 次。其中不乏像《GPT-4 Technical Report》《Scaling Laws for Neural Language Models》這樣的重磅研究。

為什么說Scott的神秘人Bob的第一候選人呢？從Scott的技術(shù)背景和社交媒體上或許可以發(fā)現(xiàn)一些蛛絲馬跡。

2017 年，Scott作為一作發(fā)布了《Block-sparse GPU kernels》，這是OpenAI官方博客上的一篇核心論文，由他與Alec Radford和Durk Kingma合著。

這是一種針對塊稀疏權(quán)重（block-sparse weights）設(shè)計(jì)的高性能GPU內(nèi)核。相比傳統(tǒng)的cuBLAS或cuSPARSE，這種內(nèi)核優(yōu)化了全連接和卷積層，在某些稀疏度設(shè)置下可提速數(shù)倍。

這與“Bob內(nèi)核”描述的核心——高效注意力機(jī)制和海量GPU推理——高度吻合。

如果這還不夠，讓我們來看看Scott本人在“口供”里是怎么交代的。

2017年，Scott在Reddit上事無巨細(xì)地全盤托出了自己是怎么在OpenAI搭建的CUDA內(nèi)核，包括FP16/FP32計(jì)算優(yōu)化和針對P100/P102 GPU的適配。

Scott提到：“這些內(nèi)核是我兩個(gè)月前完成的，現(xiàn)在悄悄發(fā)布了?！?/p>

硅谷人才爭奪暗流涌動

有人說，AI的未來取決于誰囤得下更多顯卡。

但在硅谷，圍繞人才的競爭才是如今臺前最受關(guān)注、熱議的焦點(diǎn)。

狙擊戰(zhàn)發(fā)展現(xiàn)在，只要有厲害的大佬出現(xiàn)在聚光燈之下，幾乎是露頭就秒，以至于各大實(shí)驗(yàn)室恨不得把手上的王牌全部挖個(gè)洞藏起來。

OpenAI這位GPU蒙面超人面紗被揭，亦是硅谷人才市場暗流涌動的一處具象化。

不知道小扎的超級智能實(shí)驗(yàn)室，是否又蓄勢待發(fā)了呢？

此前，OpenAI的核心研究員幾乎被小扎挖個(gè)半空，先后已有趙晟佳、Lucas Beyer、Alexander Kolesnikov等人紛紛跳槽加入Meta，可謂是連續(xù)給了奧特曼幾記重拳。

圖片由AI生成

那么奧特曼，這一次，你能夠守得住Bob嗎？

參考鏈接：
[1]https://x.com/khoomeik/status/1968136500807340291
[2]https://openai.com/index/block-sparse-gpu-kernels/
[3]https://www.linkedin.com/in/scott-gray-569704/
[4]https://www.reddit.com/r/MachineLearning/comments/5izkux/comment/dbctqo3/?context=3