新智元報道

編輯：元宇

【新智元導讀】谷歌世界模型大牛Danijar Hafner宣布離任！他自2016年起開始在Google Brain實習，后又在DeepMind、Brain Team工作。他的經(jīng)歷頗具傳奇色彩，曾獲辛頓指導，還與?ukasz Kaiser、Ashish Vaswani等Transformer大佬有過交集。

剛剛，「Dreamer」大神Danijar Hafner，宣布離開他曾工作近十年的谷歌。

離職前Danijar擔任Google DeepMind舊金山分部的資深研究科學家（Staff Research Scientist）。

他的研究目標是「構建能夠理解世界并與世界互動的通用智能體」。

作為谷歌世界模型大牛，Danijar曾主導/聯(lián)合主導了Dreamer系列（Dreamer、DreamerV3、Dreamer4 等）的開發(fā)。

Danijar Hafner

他在推文中寫道：「今天是我在DeepMind的最后一天」。

回顧了在Google和DeepMind將近10年的工作經(jīng)歷，Danijar認為「一個重要的篇章走到了終點」。

Danijar在谷歌的早期經(jīng)歷，多是以研究員的身份參與谷歌研究院、DeepMind、Brain Team等團隊的工作。

從他的教育經(jīng)歷中，也能清晰看出他的職業(yè)發(fā)展軌跡。

從2016年起，他就開始參與Brain團隊的實習。

據(jù)Danijar回憶，2016年他第一次在山景城參與谷歌Brain團隊的實習，與James Davidson以及Vincent Vanhoucke一起共事。

因為當時尚無可運行的PPO實現(xiàn)，團隊就在TensorFlow的靜態(tài)圖框架下進行調(diào)試和實驗。

2017-2018年，Danijar在倫敦大學讀碩士，期間他就在倫敦的DeepMind工作；

2018-2023年，Danijar在多倫多大學讀博士，因此他就在多倫多的Brain Team工作了相當長一段時間。

他與該團隊另一位資深研究科學家Mohammad Norouzi共同開發(fā)了多個版本的Dreamer。

初識Transformer

但「并未在意」

Danijar還記得?ukasz Kaiser第一次向他們展示一個由「大型」LSTM 生成的維基百科頁面時的情形。

?ukasz Kaiser

?ukasz是一位機器學習研究員，他最初在Google Brain團隊工作，后來加入OpenAI。

Google Brain團隊曾于2018年發(fā)表《Generating Wikipedia by Summarizing Long Sequences》，?ukasz Kaiser是作者之一，主題就是端到端生成維基百科條目。

https://arxiv.org/abs/1801.10198?utm_source=chatgpt.com

Danijar還提到他「錯過」Transformer的一段插曲。

當時，Ashish Vaswani曾經(jīng)興奮地向他介紹一種新架構在計算效率上的優(yōu)勢，并建議他將其應用在強化學習上，但那時Danijar卻并未在意（我當時沒試）。

后來這種架構被命名為Transformer。

Ashish Vaswani

https://arxiv.org/abs/1706.03762?utm_source=chatgpt.com

Ashish Vaswani是一位在AI領域頗具影響力的科學家與創(chuàng)業(yè)者。

他是Essential AI的聯(lián)合創(chuàng)始人，但更為人熟知的是參與提出了那篇著名的《Attention Is All You Need》的開創(chuàng)性論文。

該論文提出了一種「徹底摒棄循環(huán)和卷積結構，僅用注意力機制」的全新簡單網(wǎng)絡架構Transformer，可以實現(xiàn)更強的并行性和更快的訓練速度。

前面提到的?ukasz Kaiser也是這篇開創(chuàng)性論文的主要作者之一。

深度學習研究

2017-2018年，Danijar在倫敦大學攻讀碩士。

這段時間他在倫敦的DeepMind工作，有機會參與到深度強化學習和生成式模型的研究，并與Timothy Lillicrap（DeepMind）以及Ian Fischer（Google Research）合作。

這段經(jīng)歷促成了他們共同完成了PlaNet（一種基于模型的強化學習算法，能從像素觀測學習潛在世界模型，并在潛空間中進行規(guī)劃與動作選擇）。

Timothy Lillicrap

隨后，Danijar與Nicolas Heess、DeepMind的Adaptive Agents團隊長期交流，系統(tǒng)梳理并實踐Karl Friston的自由能原理（Free Energy Principle, FEP）。

開發(fā)Dreamer

曾獲辛頓指導

2018-2023年，Danijar在多倫多大學讀博士，這段時期他還在加州大學伯克利分校以聯(lián)合培養(yǎng)博士生的身份開展研究。

在多倫多大學讀博期間，Danijar的主要導師是Jimmy Ba，同時還獲得了辛頓（Jeffrey Hinton）的指導。

在此期間，Danijar還在多倫多的Brain Team工作了相當長一段時間。

Mohammad Norouzi

他與Google Brain多倫多分部的資深研究科學家Mohammad Norouzi共同開發(fā)了多個版本的Dreamer。

他們參與各種合作項目，還一起慶祝了辛頓獲得獲得圖靈獎的時刻。

2018年的圖靈獎授予Yoshua Bengio、Geoffrey Hinton和Yann LeCun

過去幾年，Danijar一直在伯克利和舊金山之間，與Wilson Yan合作深入研究世界模型。

在Count Zero和Koray Kavukcuoglu的大力支持下，他得以充分利用頂級的算力與資源，推動了一系列前沿探索。

從Dreamer到DreamerV3，再到能夠在想象中自主學習、甚至在純離線環(huán)境下完成復雜任務的Dreamer4，這一系列成果令Danijar激動。

在Danijar的個人官網(wǎng)主頁上，他的個人愿景十分醒目：「構建能夠自主理解世界并與世界互動的智能機器?！?/p>

對他而言，世界模型不僅是技術突破，更是理解智能本質(zhì)的一扇窗口。

如今，Danijar即將結束他在Google/DeepMind的十年旅程，帶著復雜的心情和滿懷期待，迎接新的篇章。

參考資料：

https://x.com/danijarh/status/1985436821405516031%20

https://danijar.com/?utm_source=chatgpt.com