機(jī)器之心報(bào)道

機(jī)器之心編輯部

申請(qǐng)轉(zhuǎn)發(fā)項(xiàng)目推文近一年才批準(zhǔn)？

近日，Meta CEO 馬克?扎克伯格的一篇《個(gè)人超級(jí)智能》公開信賺盡了眼球，其中不僅提到他們已經(jīng)看到了「AI 系統(tǒng)自我改進(jìn)的跡象」，還表示他們將會(huì)「謹(jǐn)慎選擇開源內(nèi)容」。

一時(shí)之間，相關(guān)的討論和爭(zhēng)議達(dá)到了又一輪小高潮。而與此同時(shí)，Meta 內(nèi)部風(fēng)波暗涌。一方面為追趕 AI 頂級(jí)研究陣地，Meta 砸下逾 140 億美元重注 Scale AI，并組成 Meta Superintelligence Labs （MSL），廣攬來自 OpenAI、DeepMind 等頂級(jí)團(tuán)隊(duì)的 AI 人才，提供百萬乃至上億美元簽約金；另一方面，Meta 內(nèi)部卻又被屢屢爆出存在五花八門的關(guān)于資源、人力、內(nèi)部管控等的紛爭(zhēng)，甚至還有一位名為 Tijmen Blankevoort 的研究科學(xué)家曾發(fā)長(zhǎng)文控訴 Meta 內(nèi)部文化和組織失調(diào)的慘淡景象。

更多詳情可參閱我們之前的一篇報(bào)道《是的，LeCun 要向 28 歲的 Alexandr Wang 匯報(bào)！這是 Meta 新 AI 團(tuán)隊(duì)的一些獨(dú)家內(nèi)部消息》。

現(xiàn)在，又有更多有關(guān) Meta 內(nèi)部混亂和低效的細(xì)節(jié)浮出水面。

就在扎克伯格《個(gè)人超級(jí)智能》公開信發(fā)布幾小時(shí)后，Meta FAIR 研究科學(xué)家朱澤園在一篇回復(fù)推文中無奈地表示：讓 AI at Meta（@AIatMeta）這個(gè) X 賬號(hào)轉(zhuǎn)發(fā)一下他的研究非常困難 ——「我花了近一年時(shí)間才讓他們批準(zhǔn)轉(zhuǎn)推我的項(xiàng)目」；但「轉(zhuǎn)推帶來的觸達(dá)量還不到他自己推文的 10%?！?/p>

朱澤園表示：「根本不值得這么費(fèi)力?！?/p>

他還表示：「話雖如此，我理解。我的工作在 Meta 內(nèi)部并不被看重，所以他們自然有更重要的事情需要社交媒體推廣?！共贿^有趣的是，他還提到 Meta 以外的公司對(duì)他的工作更感興趣，不知道這是否暗示著我們將會(huì)看到他有新的工作動(dòng)向？

關(guān)于這條推文，機(jī)器之心向他進(jìn)行了求證。

朱澤園回應(yīng)稱，他首先非常感謝社區(qū)和粉絲一直以來幫忙推廣自己的項(xiàng)目。他解釋道，Meta 關(guān)注的是如何盈利，以及大模型之間的競(jìng)賽。他的Physics of Language Models項(xiàng)目（更多介紹請(qǐng)參閱文末擴(kuò)展閱讀）從一開始就幾乎沒有獲得 Meta 層面的支持與關(guān)注。

他表示，近期收到了大量同行的來信，不少 AI 從業(yè)者都對(duì)行業(yè)動(dòng)蕩感到焦慮。「我想提醒大家，面對(duì)行業(yè)變化，更應(yīng)該變被動(dòng)為主動(dòng)，把握機(jī)會(huì)，不要等著公司裁員。其實(shí)現(xiàn)在正是跳槽的好時(shí)機(jī)?！?/p>

至于個(gè)人是否跳槽，朱澤園表示，自己終歸會(huì)離開 Meta，只是目前更看重手頭項(xiàng)目，需要節(jié)省時(shí)間，而跳槽時(shí)還要花時(shí)間考慮是否要帶一個(gè)團(tuán)隊(duì)、帶哪些人一起走，所以現(xiàn)在暫時(shí)不會(huì)做這件事，金錢反而不是最重要的。他強(qiáng)調(diào)，無論身處何處，都會(huì)繼續(xù)做 Physics of Language Models，因?yàn)檫@是 AI 領(lǐng)域最基礎(chǔ)的工作。

針對(duì) Meta 內(nèi)部的管理問題，朱澤園坦言，前員工 Tijmen Blankevoort 此前公開的內(nèi)部文化批評(píng)「基本屬實(shí)」，而他其實(shí)還有很多補(bǔ)充，比如甚至遇到過現(xiàn)實(shí)版「農(nóng)夫與蛇」的經(jīng)歷，不過這些故事只能等離職后才能說出來。

至于這條推文提到的「對(duì)照實(shí)驗(yàn)」，則要從朱澤園上周末發(fā)布的開源項(xiàng)目說起。

朱澤園在 7 月 27 日發(fā)布了 Physics of Language Models 項(xiàng)目的第一階段代碼，其中包含了「在 42k GPU 小時(shí)內(nèi)預(yù)訓(xùn)練強(qiáng)大 8B 基礎(chǔ)模型所需的全部?jī)?nèi)容」，包括數(shù)據(jù)、訓(xùn)練代碼和模型權(quán)重，可以說是真正的開源。并且「可以用不超過 10% 的訓(xùn)練資源打敗 Llama3-8B」

項(xiàng)目地址：https://github.com/facebookresearch/PhysicsLM4

然而，該項(xiàng)目開源發(fā)布一段時(shí)間，朱澤園卻疑惑地發(fā)現(xiàn)項(xiàng)目關(guān)注度不高。這讓他不禁發(fā)出了痛心一問：「完全開源的研究真有必要嗎？」他還問道：「我是否應(yīng)該選擇閉源以節(jié)省時(shí)間并專注于純粹的研究？」

而這條推文的關(guān)注熱度就高多了，也有很多業(yè)內(nèi)人士參與討論互動(dòng)。

比如 Hugging Face CEO Clement Delangue 表示開源是推動(dòng) AI 領(lǐng)域發(fā)展的正確做法，可以使其更加開放、協(xié)作和安全！

斯坦福大學(xué)應(yīng)用物理學(xué)副教授 Surya Ganguli 更是表示「不開源就不能稱之為研究」。

當(dāng)然，也有人表示某些開源確實(shí)浪費(fèi)時(shí)間，比如前段時(shí)間被 Meta 挖走的前 OpenAI 和 DeepMind 研究者 Lucas Beyer 表示 bigco 項(xiàng)目的開源就浪費(fèi)了很多時(shí)間，不過他也指出了值得開源的三種情況。

當(dāng)然，除了開源以及對(duì) X 推薦機(jī)制的討論，朱澤園的這條推文也引出了更多關(guān)于 Meta 的討論。

比如網(wǎng)友 @papers_anon 表示「FAIR 在傳播其團(tuán)隊(duì)的有趣研究方面做得很差」——FAIR 似乎完全仰賴研究者使用自己的個(gè)人 X 帳號(hào)來宣傳，而同時(shí) FAIR 又不直接為每位研究者購(gòu)買 X Premium+ 來推廣研究成果，也沒有一個(gè)真正專注于研究成果展示的 X 賬戶來發(fā)布內(nèi)容。他總結(jié)說：「FAIR 似乎受到了太多內(nèi)部政策的束縛，甚至無法以無痛的方式促進(jìn)開放研究?！?/p>

另外，朱澤園自己也指出了關(guān)注度可能與研究資源掛鉤的現(xiàn)實(shí)，而這就不得不迫使研究者在 X 上場(chǎng)搞宣傳，而他也正需要為這項(xiàng)研究的第二、三階段爭(zhēng)取到 GPU。

他也吐嘈了 Meta 內(nèi)部的審核批準(zhǔn)流程：僅僅是獲得公共數(shù)據(jù)集的使用批準(zhǔn)并發(fā)布權(quán)重就需要浪費(fèi)兩個(gè)多月的時(shí)間（這還不包括科研本身），「而且情況只會(huì)越來越糟。如果一個(gè)數(shù)據(jù)條目未獲得批準(zhǔn)，你的整個(gè)模型都可能被推翻重新訓(xùn)練。而哪里有這么多資源呢？」

他還提到，光是為了讓 Physics of Language Models 這個(gè)項(xiàng)目以 Apache 2.0 協(xié)議開源，他就與 Meta 的法務(wù)部門溝通了超過一周。如果發(fā)布的模型過于強(qiáng)大，還會(huì)出更多問題。

當(dāng)被問到為什么 Meta 說不開源了，同時(shí)還允許該項(xiàng)目發(fā)布時(shí)（另外這兩天還開源了 MetaCLIP2 和 VGGT），朱澤園風(fēng)趣地說：「這兩者可能都是真的。如今，不確定性極大，一切都可能在一夜之間發(fā)生改變，也許我們?cè)谶M(jìn)行最后一輪開源?！?/p>

https://x.com/papers_anon/status/1950672022134247579

https://x.com/ZeyuanAllenZhu/status/1950718378353811730