新智元報(bào)道

編輯：元宇

【新智元導(dǎo)讀】谷歌世界模型大牛Danijar Hafner宣布離任！他自2016年起開始在Google Brain實(shí)習(xí)，后又在DeepMind、Brain Team工作。他的經(jīng)歷頗具傳奇色彩，曾獲辛頓指導(dǎo)，還與?ukasz Kaiser、Ashish Vaswani等Transformer大佬有過交集。

剛剛，「Dreamer」大神Danijar Hafner，宣布離開他曾工作近十年的谷歌。

離職前Danijar擔(dān)任Google DeepMind舊金山分部的資深研究科學(xué)家（Staff Research Scientist）。

他的研究目標(biāo)是「構(gòu)建能夠理解世界并與世界互動(dòng)的通用智能體」。

作為谷歌世界模型大牛，Danijar曾主導(dǎo)/聯(lián)合主導(dǎo)了Dreamer系列（Dreamer、DreamerV3、Dreamer4 等）的開發(fā)。

Danijar Hafner

他在推文中寫道：「今天是我在DeepMind的最后一天」。

回顧了在Google和DeepMind將近10年的工作經(jīng)歷，Danijar認(rèn)為「一個(gè)重要的篇章走到了終點(diǎn)」。

Danijar在谷歌的早期經(jīng)歷，多是以研究員的身份參與谷歌研究院、DeepMind、Brain Team等團(tuán)隊(duì)的工作。

從他的教育經(jīng)歷中，也能清晰看出他的職業(yè)發(fā)展軌跡。

從2016年起，他就開始參與Brain團(tuán)隊(duì)的實(shí)習(xí)。

據(jù)Danijar回憶，2016年他第一次在山景城參與谷歌Brain團(tuán)隊(duì)的實(shí)習(xí)，與James Davidson以及Vincent Vanhoucke一起共事。

因?yàn)楫?dāng)時(shí)尚無可運(yùn)行的PPO實(shí)現(xiàn)，團(tuán)隊(duì)就在TensorFlow的靜態(tài)圖框架下進(jìn)行調(diào)試和實(shí)驗(yàn)。

2017-2018年，Danijar在倫敦大學(xué)讀碩士，期間他就在倫敦的DeepMind工作；

2018-2023年，Danijar在多倫多大學(xué)讀博士，因此他就在多倫多的Brain Team工作了相當(dāng)長(zhǎng)一段時(shí)間。

他與該團(tuán)隊(duì)另一位資深研究科學(xué)家Mohammad Norouzi共同開發(fā)了多個(gè)版本的Dreamer。

初識(shí)Transformer

但「并未在意」

Danijar還記得?ukasz Kaiser第一次向他們展示一個(gè)由「大型」LSTM 生成的維基百科頁(yè)面時(shí)的情形。

?ukasz Kaiser

?ukasz是一位機(jī)器學(xué)習(xí)研究員，他最初在Google Brain團(tuán)隊(duì)工作，后來加入OpenAI。

Google Brain團(tuán)隊(duì)曾于2018年發(fā)表《Generating Wikipedia by Summarizing Long Sequences》，?ukasz Kaiser是作者之一，主題就是端到端生成維基百科條目。

https://arxiv.org/abs/1801.10198?utm_source=chatgpt.com

Danijar還提到他「錯(cuò)過」Transformer的一段插曲。

當(dāng)時(shí)，Ashish Vaswani曾經(jīng)興奮地向他介紹一種新架構(gòu)在計(jì)算效率上的優(yōu)勢(shì)，并建議他將其應(yīng)用在強(qiáng)化學(xué)習(xí)上，但那時(shí)Danijar卻并未在意（我當(dāng)時(shí)沒試）。

后來這種架構(gòu)被命名為Transformer。

Ashish Vaswani

https://arxiv.org/abs/1706.03762?utm_source=chatgpt.com

Ashish Vaswani是一位在AI領(lǐng)域頗具影響力的科學(xué)家與創(chuàng)業(yè)者。

他是Essential AI的聯(lián)合創(chuàng)始人，但更為人熟知的是參與提出了那篇著名的《Attention Is All You Need》的開創(chuàng)性論文。

該論文提出了一種「徹底摒棄循環(huán)和卷積結(jié)構(gòu)，僅用注意力機(jī)制」的全新簡(jiǎn)單網(wǎng)絡(luò)架構(gòu)Transformer，可以實(shí)現(xiàn)更強(qiáng)的并行性和更快的訓(xùn)練速度。

前面提到的?ukasz Kaiser也是這篇開創(chuàng)性論文的主要作者之一。

深度學(xué)習(xí)研究

2017-2018年，Danijar在倫敦大學(xué)攻讀碩士。

這段時(shí)間他在倫敦的DeepMind工作，有機(jī)會(huì)參與到深度強(qiáng)化學(xué)習(xí)和生成式模型的研究，并與Timothy Lillicrap（DeepMind）以及Ian Fischer（Google Research）合作。

這段經(jīng)歷促成了他們共同完成了PlaNet（一種基于模型的強(qiáng)化學(xué)習(xí)算法，能從像素觀測(cè)學(xué)習(xí)潛在世界模型，并在潛空間中進(jìn)行規(guī)劃與動(dòng)作選擇）。

Timothy Lillicrap

隨后，Danijar與Nicolas Heess、DeepMind的Adaptive Agents團(tuán)隊(duì)長(zhǎng)期交流，系統(tǒng)梳理并實(shí)踐Karl Friston的自由能原理（Free Energy Principle, FEP）。

開發(fā)Dreamer

曾獲辛頓指導(dǎo)

2018-2023年，Danijar在多倫多大學(xué)讀博士，這段時(shí)期他還在加州大學(xué)伯克利分校以聯(lián)合培養(yǎng)博士生的身份開展研究。

在多倫多大學(xué)讀博期間，Danijar的主要導(dǎo)師是Jimmy Ba，同時(shí)還獲得了辛頓（Jeffrey Hinton）的指導(dǎo)。

在此期間，Danijar還在多倫多的Brain Team工作了相當(dāng)長(zhǎng)一段時(shí)間。

Mohammad Norouzi

他與Google Brain多倫多分部的資深研究科學(xué)家Mohammad Norouzi共同開發(fā)了多個(gè)版本的Dreamer。

他們參與各種合作項(xiàng)目，還一起慶祝了辛頓獲得獲得圖靈獎(jiǎng)的時(shí)刻。

2018年的圖靈獎(jiǎng)授予Yoshua Bengio、Geoffrey Hinton和Yann LeCun

過去幾年，Danijar一直在伯克利和舊金山之間，與Wilson Yan合作深入研究世界模型。

在Count Zero和Koray Kavukcuoglu的大力支持下，他得以充分利用頂級(jí)的算力與資源，推動(dòng)了一系列前沿探索。

從Dreamer到DreamerV3，再到能夠在想象中自主學(xué)習(xí)、甚至在純離線環(huán)境下完成復(fù)雜任務(wù)的Dreamer4，這一系列成果令Danijar激動(dòng)。

在Danijar的個(gè)人官網(wǎng)主頁(yè)上，他的個(gè)人愿景十分醒目：「構(gòu)建能夠自主理解世界并與世界互動(dòng)的智能機(jī)器?！?/p>

對(duì)他而言，世界模型不僅是技術(shù)突破，更是理解智能本質(zhì)的一扇窗口。

如今，Danijar即將結(jié)束他在Google/DeepMind的十年旅程，帶著復(fù)雜的心情和滿懷期待，迎接新的篇章。

參考資料：

https://x.com/danijarh/status/1985436821405516031%20

https://danijar.com/?utm_source=chatgpt.com