衡宇 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

最新消息，扎克伯格再次從OpenAI重磅挖角了一名華人研究員。

這次是——宋飏（Yang Song）！

宋飏，何許人也？

16歲裸分上清華的少年天才，擴散模型崛起&攻克擴散模型短板的關(guān)鍵貢獻者之一，OpenAI戰(zhàn)略探索團隊的帶隊人。

這次是真的要用“震驚”來表達(dá)我內(nèi)心的感受了（吃驚臉.jpg）……

翻看他本人在上的最新一篇推文，還是上個月因GPT-OSS而激動。

現(xiàn)在再聽聞他的消息，已經(jīng)是宋飏于本月初轉(zhuǎn)會至Meta的MSL旗下，向MSL首席科學(xué)家趙晟佳匯報。

他被撬動這件事，咱聽到后脫口而出一句“震驚”真不是夸張，而且相信大部分人聽到這個消息幾乎第一反應(yīng)都這樣。

業(yè)內(nèi)人士稱他是Meta從OpenAI挖來的最強大腦之一，還說“很多OpenAI的朋友得知他離開，都驚呆了”。

Meta前前后后不停歇挖來的這么多牛人，他們到底看中的是什么？

有網(wǎng)友評價道，他們并非純粹為了金錢利益，“一旦你達(dá)到一定的財富水平，金錢就不再驅(qū)動你的決策”——尤其是對于那些在OpenAI工作了3年以上的員工來說。

持續(xù)攻克擴散模型短板

宋飏于2022年博士畢業(yè)后加入OpenAI，擔(dān)任研究科學(xué)家，至今3年零2個月。

他的核心研究方向是提升模型處理大規(guī)模、復(fù)雜、多模態(tài)數(shù)據(jù)集的能力，以及探索如何讓模型在不同模態(tài)（圖像、文本、代碼等）之間進行更高效、更智能的交互。

離開OpenAI前，宋飏是公司戰(zhàn)略探索團隊（Strategic Explorations Team）的負(fù)責(zé)人。

這個團隊沒有具體的成立時間，是作為OpenAI整體組織的一部分從公司成立以來逐步發(fā)展起來的，主要負(fù)責(zé)前瞻性研究方向探索，重點在模型能力拓展、跨模態(tài)數(shù)據(jù)處理等。

在OpenAI期間，宋飏最出名的成果是一致性模型。

2023年4月，宋飏、清華校友路橙以及Ilya等開源了比擴散模型更快、性能更好的一致性模型Consistency Models，只需要3.5秒左右就能生成64張左右256×256的圖像。

去年10月，宋飏和路橙再次簡化了一致性模型，提出改進版的連續(xù)時間一致性模型（Continuous-Time Consistency Models），解決了早期一致性模型在穩(wěn)定性和可擴展性上的問題。

僅用兩步采樣，就能讓生成質(zhì)量與擴散模型結(jié)果相媲美，同時生成圖像的速度是擴散模型的50倍。

他們成功將連續(xù)時間一致性模型的訓(xùn)練規(guī)模擴展到了前所未有的15億參數(shù)，并實現(xiàn)了在512×512分辨率的ImageNet數(shù)據(jù)集上的訓(xùn)練。

基于這項研究，在單張A100 GPU上，參數(shù)15億的模型無需任何推理優(yōu)化，即可在0.11秒內(nèi)生成一個樣本。

這兩篇論文和開源代碼被大量引用，是近兩年生成模型領(lǐng)域的明星成果。

業(yè)內(nèi)有討論稱，這個方向有可能成為“有可能終結(jié)擴散模型”的新方向。

但要知道，在此之前，同樣也是因為宋飏的工作，才出現(xiàn)了擴散模型如DALL-E 2、Stable Diffusion、Imagen的狂潮。

擴散模型崛起的關(guān)鍵人物之一

來到OpenAI之前，宋飏在斯坦福大學(xué)攻讀計算機博士，師從斯坦福計算機系副教授Stefano Ermon。

這位導(dǎo)師團隊曾連續(xù)兩年獲得ICLR杰出論文獎。

其中一次，一作正是宋飏。

而要被視作為擴散模型提供早期貢獻的，還要屬被NeurIPS 2019接收并做口頭報告的工作《Generative Modeling by Estimating Gradients of the Data Distribution》。

當(dāng)時，GAN還在以逼真生成風(fēng)格席卷全球，但眾多科學(xué)家仍受困于很難訓(xùn)練、無法完整采樣等難題。

斯坦福大學(xué)博士后Sohl-Dickstein受物理學(xué)啟發(fā)，利用擴散原理開發(fā)了生成建模算法——

類似于從一滴墨水變成漫射淡藍(lán)色的水，首先將訓(xùn)練數(shù)據(jù)集中的復(fù)雜圖像轉(zhuǎn)化為簡單的噪聲，然后教系統(tǒng)如何反轉(zhuǎn)這個過程，將噪聲轉(zhuǎn)化為圖像。

如此一來就能實現(xiàn)對整個分布進行采樣。

但當(dāng)時，這樣做會讓訓(xùn)練過程太慢，性能效果也遠(yuǎn)遠(yuǎn)落后于GAN。

這時候，宋飏和他的導(dǎo)師Stefano Ermon出現(xiàn)了。

他們提出了一種新方法，不估計數(shù)據(jù)的概率分布，而是估計分布的梯度，最終效果實現(xiàn)了對GAN的超越。

不過，后來宋飏坦言：

• 當(dāng)時根本不知道擴散模型。

他本人是在論文發(fā)布后，從Sohl-Dickstein的郵件才知道，自己的研究與擴散模型有非常緊密的聯(lián)系。

在此前，宋飏都不知道這場受物理學(xué)啟發(fā)的擴散模型風(fēng)潮，會和自己有關(guān)，并成為顯學(xué)。

16歲裸分上清華的少年天才

不過說來有趣，早在高中時期，宋飏就展現(xiàn)了他在物理和信息學(xué)方面的天賦。

宋飏高中時期就讀于江蘇省新海高級中學(xué)，獲得過全國物理奧賽、信息學(xué)奧賽的一等獎。

14歲時，他在清華推薦生面試現(xiàn)場，有一段經(jīng)典的排比句自我介紹：

我是奧賽宋飏，我獲得了物理以及信息學(xué)的全國一等獎；
我是標(biāo)兵宋飏，我的理想是做一名物理學(xué)家，現(xiàn)在我已經(jīng)自學(xué)了高校里的高等數(shù)學(xué)以及普通物理學(xué)；
我還是文藝宋飏，我已經(jīng)通過了鋼琴十級考試，在班級的羽毛球?qū)官惿?，也有我活躍的身影。

最終，他以17位評委全票通過的成績，入選“清華大學(xué)新百年領(lǐng)軍計劃”。

次年高考時，他考出425分的裸分成績，以連云港市理科狀元的身份入讀清華大學(xué)數(shù)理基礎(chǔ)科學(xué)班。

這個成績也超出他自己的估分，稱“我覺得也就在400分左右吧，完全出乎意料”。

本科時期，宋飏跟從清華計算機科學(xué)與技術(shù)系教授朱軍學(xué)習(xí)。

并與Raquel Urtasun（多倫多大學(xué)計算機科學(xué)系教授）和Richard Zemel（曾在多倫多大學(xué)和哥倫比亞大學(xué)任教）等學(xué)術(shù)大咖有過學(xué)術(shù)合作。

2016年，宋飏從清華畢業(yè)，拿下數(shù)學(xué)與物理本科學(xué)位，此后赴斯坦福深造。

讀博期間，他在微軟、Uber、Google都有過實習(xí)經(jīng)歷。

等到博士畢業(yè)，他就被OpenAi收入囊中了。

截至本文推送，宋飏的領(lǐng)英和頁面都還保持在“于OpenAI工作”的狀態(tài)。

One More Thing

現(xiàn)在，宋飏在Meta MSL的+1是趙晟佳。

過去十余年間，他倆之間真的十分有緣——

同是清華校友，同在斯坦福師從Stefano Ermon，同在OpenAI工作。

現(xiàn)在，兩人又先后跳槽，變成了小扎的心腹大將。

妙啊，妙。

參考鏈接：
[1]https://mp.weixin.qq.com/s/3h_mxCij5_owicnfsHhp_Q
[2]https://www.wired.com/story/meta-poaches-openai-researcher-yang-song/
[3]https://x.com/Yuchenj_UW/status/1971088866095603858
[4]https://www.linkedin.com/in/yang-song-machine-learning/details/experience/
[5]https://openreview.net/pdf/ef0eadbe07115b0853e964f17aa09d811cd490f1.pdf?ref=news-tutorials-ai-research