夢晨 發(fā)自 凹非寺量子位 | 公眾號 QbitAI

很瘋狂，Meta AI裁員能裁到田淵棟頭上，而且是整組整組的裁。

田淵棟在Meta工作已超過十年，現(xiàn)任FAIR研究科學(xué)家總監(jiān)（Research Scientist Director），他領(lǐng)導(dǎo)開發(fā)了早于AlphaGo的圍棋AI“Dark Forest”，近期在大模型領(lǐng)域也推出了整合快慢思考的Dualformer模型、以及開創(chuàng)性的“連續(xù)思維鏈”（Coconut）范式。

這樣一位大佬突然面臨找工作了，OpenAI以及各路初創(chuàng)公司反應(yīng)都很快，直接開始在評論區(qū)排隊搶人。

看來這次由新任首席AI官亞歷山大王主刀的Meta AI大裁員，不只是明面上精簡組織那么簡單，

田淵棟其人

田淵棟擁有上海交通大學(xué)計算機系的本科和碩士學(xué)位，隨后在卡內(nèi)基梅隆大學(xué)（CMU）機器人研究所獲得博士學(xué)位。

他的職業(yè)生涯始谷歌無人駕駛汽車項目組擔(dān)任軟件工程師。

約在2014年，田淵棟加入Facebook（現(xiàn)Meta）的人工智能研究院（FAIR），至今已近十年。

在DeepMind的AlphaGo震驚世界之前，田淵棟團隊已在圍棋AI領(lǐng)域取得重要進展。

2015年，田淵棟主導(dǎo)發(fā)布了圍棋AI“Dark Forest”，達到了頂尖業(yè)余棋手的水平。在AlphaGo之后，田淵棟團隊基于AlphaGo Zero和AlphaZero的算法，完成了開源復(fù)現(xiàn)項目ELF OpenGo，僅靠單GPU就能戰(zhàn)勝世界頂級的人類選手。

2017年起，田淵棟的研究重心轉(zhuǎn)向AI的可解釋性與基礎(chǔ)原理

2019年，OpenAI聯(lián)合創(chuàng)始人Ilya Sutskever曾邀請?zhí)餃Y棟加入，共同研發(fā)語言模型，田淵棟因希望專注于“理解神經(jīng)網(wǎng)絡(luò)模型的工作原理”而拒絕了邀請。

語言模型爆發(fā)后，Transformer成為AI研究最重要的工具，田淵棟還是堅持他認(rèn)為更根本的的研究道路，不是簡單訓(xùn)練發(fā)布模型，而是致力于提高LLM在復(fù)雜推理和規(guī)劃任務(wù)上的能力。

下半年開始，他在AIR負(fù)責(zé)領(lǐng)導(dǎo)一個專注于規(guī)劃和推理方向的團隊，團隊規(guī)模約為10人，展開了一系列研究。

• 內(nèi)存高效的訓(xùn)練方法GaLore: 將預(yù)訓(xùn)練7B模型所需的內(nèi)存壓縮至24GB以內(nèi)，使得在單張消費級顯卡（如RTX 4090）上進行預(yù)訓(xùn)練成為可能
• 快慢思考整合Dualformer：通過在訓(xùn)練中隨機移除推理鏈的部分步驟，使模型能夠動態(tài)切換“快思考”（對簡單問題直接給出答案）和“慢思考”（對復(fù)雜問題展開深入推理）
• Coconut連續(xù)思維鏈：不再依賴離散的自然語言思維鏈，而是將推理軌跡壓縮并保留在連續(xù)的隱空間中。
• 理論探索CoGO：揭示了由梯度下降獲得的神經(jīng)網(wǎng)絡(luò)解與代數(shù)結(jié)構(gòu)之間存在關(guān)聯(lián)，增加了對神經(jīng)網(wǎng)絡(luò)表示能力的理解。

就在剛剛過去的9月，他還發(fā)表了一篇獨作論文，揭示了揭示了關(guān)鍵超參數(shù)對“頓悟”（Grokking）中扮演的角色，從梯度動力學(xué)的第一性原理揭示了為什么像 Muon 這樣的最新優(yōu)化器可以有效的根本原因。

One More Thing

除了科研，田淵棟也是一位科幻小說家，第一部長篇小說作品《破曉之鐘》于2024年出版。

在他的2024年個人年終總結(jié)里，還透露接下來的第二部長篇小說會嘗試使用AI輔助寫作。

他在職場遭遇的瘋狂經(jīng)歷，能化作創(chuàng)作的靈感也說不定。

[1]https://x.com/tydsh/status/1981167436859920861