來源：智源社區(qū)

導(dǎo)讀

這是阿卜杜拉國王科技大學(xué) (KAUST) 人工智能研究所所長、瑞士人工智能實(shí)驗(yàn)室 IDSIA 科學(xué)主任、LSTM 作者、現(xiàn)代人工智能之父 Jürgen Schmidhuber在智源大會特邀報告環(huán)節(jié) 從編年史的角度講述了現(xiàn)代人工智能的發(fā)展、其歷史背景及其對宇宙未來的預(yù)期影響。

1990-91年被譽(yù)為AI發(fā)展的“奇跡之年”，正是在此期間，Jürgen 引入了生成對抗神經(jīng)網(wǎng)絡(luò)（現(xiàn)已廣泛用于deepfake和其他應(yīng)用）、非歸一化線性 Transformer（“ChatGPT”中的“T”代表“Transformer”）和用于深度學(xué)習(xí)的自監(jiān)督預(yù)訓(xùn)練（“ChatGPT”中的“P”代表“預(yù)訓(xùn)練”）。這些關(guān)于 ChatGPT 中“G”、“P”和“T”的早期研究對現(xiàn)代深度學(xué)習(xí)產(chǎn)生了廣泛而深遠(yuǎn)的影響，并為他贏得了“生成式人工智能之父”的綽號。

眾所周知，Jürgen 與 2018 年共同獲得圖靈獎的深度學(xué)習(xí)三巨頭之間關(guān)于研究所屬權(quán)存在諸多紛爭。請參閱他的報告“三位圖靈獎獲得者如何重復(fù)發(fā)表關(guān)鍵方法和思路，卻沒有標(biāo)明引用出處” https://people.idsia.ch/~juergen/ai-priority-disputes.html。

報告回放：https://event.baai.ac.cn/live/804

個人簡介

《紐約時報》的頭條是：“當(dāng)人工智能成熟時，它可能會稱Jürgen Schmidhuber為‘父親’?！彼?jīng)常被媒體稱為現(xiàn)代AI之父。自15歲起，他的主要目標(biāo)就是建立一個比他自己更聰明的自我提升的人工智能，然后退休。他的實(shí)驗(yàn)室的深度學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)革新了機(jī)器學(xué)習(xí)和人工智能。到2017年，他們已經(jīng)在超過30億部智能手機(jī)上，并每天被使用數(shù)十億次，用于Facebook的自動翻譯，Google的語音識別，Google翻譯，Apple的Siri和QuickType，Amazon的Alexa等。生成性AI也基于他的工作：他引入了人工好奇心和生成對抗網(wǎng)絡(luò)（1990年，現(xiàn)在廣泛使用），非標(biāo)準(zhǔn)化線性變換器（1991年，“ChatGPT”中的“T”代表“變換器”），深度學(xué)習(xí)的自我監(jiān)督預(yù)訓(xùn)練（1991年，“ChatGPT”中的“P”代表“預(yù)訓(xùn)練”），以及學(xué)習(xí)學(xué)習(xí)的元學(xué)習(xí)機(jī)器（自1987年以來，現(xiàn)在廣泛使用）。他的實(shí)驗(yàn)室還生產(chǎn)了LSTM，20世紀(jì)被引用最多的AI，以及受LSTM啟發(fā)的Highway Net，第一個具有數(shù)百層的非常深的前饋網(wǎng)絡(luò)（ResNet，21世紀(jì)被引用最多的AI，是一個開放門控的Highway Net）。在2006-2010年，他發(fā)表了“樂趣和創(chuàng)造力的正式理論”。馬斯克在推特上說：“Schmidhuber發(fā)明了一切?！彼窃S多獎項的獲得者，KAUST在KSA的AI倡議的主任，瑞士AI實(shí)驗(yàn)室IDSIA的科學(xué)主任，盧加諾大學(xué)的AI副教授，以及公司NNAISENSE的聯(lián)合創(chuàng)始人和首席科學(xué)家。他經(jīng)常在主要活動中擔(dān)任主題演講者，并為各種政府提供AI策略咨詢。

1970s，年少夢想，造一個比自己聰明的人工智能

20世紀(jì)70年代，那時候我還是個十幾歲的青少年。我記得我告訴我母親，我有生之年想建造一個比自己還聰明的AI，這樣我就可以退休了，我媽媽說我瘋了。

20世紀(jì)80年代，那時我已經(jīng)成為了一名計算機(jī)科學(xué)家，當(dāng)我把同樣的想法告訴我同事，他們也說我瘋了。1987年，我的畢業(yè)論文是關(guān)于通用人工智能（AGI）的。當(dāng)時那篇論文是關(guān)于元學(xué)習(xí)算法的，這種算法能夠自學(xué)更好的學(xué)習(xí)算法，從而構(gòu)建出真正超越人類的人工智能，這種AI除了可計算性和物理學(xué)限制以外，沒有任何其他限制。

1987，AGI從科幻小說走進(jìn)學(xué)術(shù)現(xiàn)實(shí)

在今天，AGI是一個熱門話題。但在當(dāng)時，我的許多同事告訴我說AGI和超人人工智能是科幻小說里的劇情，永遠(yuǎn)不可能實(shí)現(xiàn)，至少在未來一千年內(nèi)是不可能實(shí)現(xiàn)的。

但到了2023年，那些當(dāng)時對我的預(yù)測大皺眉頭的同事們，現(xiàn)在卻突然改變了主意，他們認(rèn)為 AGI 有可能就在不遠(yuǎn)處?，F(xiàn)在，他們中的一些人突然開始用科幻小說中的舊觀點(diǎn)來警告 AGI的危險。

這種想法的轉(zhuǎn)變主要是由“生成式AI”和ChatGPT一類的LLM引發(fā)的。它們現(xiàn)在生成的大量文本幾乎與人類書寫的文本無異。ChatGPT等現(xiàn)代 LLM 是建立在名為 Transformer 的人工神經(jīng)網(wǎng)絡(luò)系列基礎(chǔ)之上的。

來源：Bloomberg

1991，第一個“Transformer”變體誕生

我對此頗感欣慰，因?yàn)樵?991年，當(dāng)時的計算成本比現(xiàn)在高出一百萬倍，我當(dāng)時發(fā)表了第一個Transformer的變體。如今這個變體名為“非歸一化線性Transformer (unnormalised linear Transformer)”。我給它起了個不同的名字，叫 "快速權(quán)重控制器"，但名字并不重要，重要的是這當(dāng)中的數(shù)學(xué)。

它是一個包含大量非線性運(yùn)算的神經(jīng)網(wǎng)絡(luò)，所以現(xiàn)在被稱為線性Transformer有點(diǎn)奇怪。如果將現(xiàn)代Transformer的輸入文本長度增加 100 倍，需要的計算量就會增加 10000 倍。因此，不能很好地擴(kuò)大其處理數(shù)據(jù)的規(guī)模。1991 年的老式線性Transformer效率更高，因?yàn)樗鼈冎恍枰?100 倍的計算量。所以它們的成本是按線性而不是按四次方縮放的。

從根本上說，我在1991年發(fā)表的Transformer是這樣做的：為了回答接收到的查詢，它通過梯度下降來學(xué)習(xí)生成稱為鍵和值的模式，對自身的某些部分進(jìn)行重新編程，從而根據(jù)上下文將注意力引導(dǎo)到重要的事情上。現(xiàn)代Transformer也采用了同樣的原理。

1990-91，源自慕尼黑的AI創(chuàng)新奇跡之年

我引以為豪的是，大部分生成式人工智能都要追溯到神奇的1990-1991年，即我們在德國慕尼黑工業(yè)大學(xué)的 "奇跡之年"。那時，我不僅發(fā)表了第一個Transformer變體，還發(fā)表了第一個生成式對抗網(wǎng)絡(luò)，現(xiàn)在被用于deepfake。它們是如何工作的呢？有兩個互相對抗的神經(jīng)網(wǎng)絡(luò)——一個最大化誤差函數(shù)，另一個最小化誤差函數(shù)！

第一個神經(jīng)網(wǎng)絡(luò)（概率性地）產(chǎn)生輸出，第二個神經(jīng)網(wǎng)絡(luò)看到這些輸出并預(yù)測其結(jié)果。利用梯度下降法，第二個網(wǎng)絡(luò)將誤差最小化，從而成為了更好的預(yù)測網(wǎng)絡(luò)。但是，第一個網(wǎng)絡(luò)學(xué)會了生成愚弄第二個網(wǎng)絡(luò)的輸出，將另一個網(wǎng)絡(luò)最小化的誤差最大化。如今，這種方法被用來制作非常令人信服的deepfake圖像，即那些看起來像真的一樣的偽造圖像。

有時當(dāng)我在夸耀我們過去的成就時，總是會想起兩只海貍在一個巨大的人工湖中游泳的情景。其中一只海貍指著巨大的人工水壩說：看到了嗎？另一只海貍說：哇，這是你建的嗎？第一只海貍說：不是我建的，但是我先想到的。

不管怎么說，在 1991 年，我們的AI算法還做不了什么，因?yàn)殡娔X太慢了。這里談到一種很古老的趨勢，至少可以追溯到1941年，當(dāng)時康拉德·楚澤（Konrad Zuse）在柏林制造出了世界上第一臺正常運(yùn)轉(zhuǎn)的通用程序控制的計算機(jī)。他的機(jī)器每秒大約能進(jìn)行一次基本運(yùn)算（比如加法）。從那時起，每隔5年，計算成本就會降低10倍。（康拉德·楚澤[Konrad Zuse，1910年6月22日-1995年12月19日]是一位德國工程師。在1935年至1941年間，他創(chuàng)造了世界上第一臺可編程通用計算機(jī)：Z3。這位“計算機(jī)之父”相應(yīng)的專利申請可以追溯到1936年。1946年，他還創(chuàng)辦了世界上第一家計算機(jī)創(chuàng)業(yè)公司：Zuse-Ingenieurbüro Hopferau（IBM 為 Zuse的專利提供了部分風(fēng)險投資）。在 20 世紀(jì) 40 年代初，Zuse 還設(shè)計了第一種高級編程語言 Plankalkül。他在 1945 年將其應(yīng)用于國際象棋，并在 1948 年將其應(yīng)用于定理證明。)

在康拉德·楚澤之后的 45 年，也就是 1986 年，當(dāng)時我正在撰寫我的畢業(yè)論文，以元學(xué)習(xí)為基礎(chǔ)論AGI，上述的趨勢已經(jīng)過時，那時候計算成本比 1941 年時便宜了十億倍。第一臺臺式電腦讓我們能夠操作幾十年前似乎還不可行的實(shí)驗(yàn)。然而，以今天的標(biāo)準(zhǔn)來看，我們的模型仍然很小。

1997年，LSTM的主要論文問世，后來數(shù)十億人的智能手機(jī)上都有了LSTM

但在過去的30年里，我們的計算能力取得了百萬量級的提升。因此，我們現(xiàn)在每美元的計算能力是1941年康拉德·楚澤時期的千萬億倍。這就是為什么現(xiàn)在每個人的智能手機(jī)上都有令人印象深刻的AI能力，盡管這些智能手機(jī)上運(yùn)行的基礎(chǔ)AI技術(shù)都可以追溯到上世紀(jì)。

特別是，我們的 LSTM 神經(jīng)網(wǎng)絡(luò)的原理也可以追溯到 1991 年，我的優(yōu)秀學(xué)生 Sepp Hochreiter 的畢業(yè)論文，我后來的學(xué)生也對其進(jìn)行了進(jìn)一步的改進(jìn)。我在 1995 年想出了 LSTM 這個名字。最終，我們在 1997 年發(fā)表的 LSTM 論文成為 20 世紀(jì)被引用次數(shù)最多的AI論文。到了2010 年代，LSTM 已經(jīng)應(yīng)用于數(shù)十億部智能手機(jī)上，大大提高了語音識別和自動翻譯能力。例如，到 2017 年，F(xiàn)acebook 每天使用我們的 LSTM 進(jìn)行 40 億次翻譯。

1997年，Jürgen Schmidhuber和Sepp Hochreiter發(fā)表的遞歸神經(jīng)網(wǎng)絡(luò)論文，也即大名鼎鼎的長短期記憶網(wǎng)絡(luò)（LSTM）

LSTM 也被谷歌、微軟、Facebook 等公司用于首批 LLM。那是在他們開始使用Transformer之前，而Transformer的原理也可以追溯到我們 1991 年的工作，如前所述。

圖片來源：https://people.idsia.ch/~juergen/blog.html

我們的技術(shù)打破了東西方之間的語言鴻溝

我記得15年前去中國時，我還得向出租車司機(jī)出示我所住酒店的照片，說明我想去的地方。如今，他對著智能手機(jī)說普通話，我聽到他的翻譯，然后我說一句話，智能手機(jī)又把它翻譯成普通話。出租車司機(jī)可能不知道，這是由我在慕尼黑和瑞士的實(shí)驗(yàn)室于 20 世紀(jì) 90 年代和 2000 年代開發(fā)的技術(shù)驅(qū)動的。但我很高興地看到，我們的人工智能確實(shí)打破了人與人之間、國與國之間舊有的溝通障礙。就像現(xiàn)在這樣，我的語音可以自動翻譯成中文。

當(dāng)然，我認(rèn)為，目前著名的 ChatGPT 等模型遠(yuǎn)非 AGI。它們只是一種巧妙的方法，將世界上現(xiàn)有的由人類生成的知識編入索引，以便通過自然語言輕松地處理。但這足以取代許多桌面電腦上的工作，例如，以特定風(fēng)格撰寫現(xiàn)有文檔的摘要，或者給文章繪制插圖等等。

不過，要取代水管工或電工等技工要難得多！因?yàn)楝F(xiàn)實(shí)世界、物理世界比屏幕后的虛擬世界更具挑戰(zhàn)性。四分之一世紀(jì)以來，最好的棋手已經(jīng)不再是人類了。對于AI來說，學(xué)習(xí)下棋、玩其他棋盤游戲或視頻游戲已經(jīng)相當(dāng)容易。但現(xiàn)實(shí)世界中的游戲，如足球，卻要難得多——目前還沒有會踢足球的具身智能能與一個 7 歲的男孩相媲美。

關(guān)于人造好奇心

圖片來源：https://people.idsia.ch/~juergen/blog.html

但我們也確實(shí)有可以學(xué)習(xí)如何處理現(xiàn)實(shí)世界和物理世界的人工智能系統(tǒng)。它們的歷史至少可以追溯到 1990 年：它們學(xué)會了建立一個世界預(yù)測模型，當(dāng)時我稱之為 "世界模型"，它們可以用這個模型來規(guī)劃行動序列。一開始，他們什么都不知道，但通過“自我發(fā)明”的實(shí)驗(yàn)，他們了解了行動的后果，知道了世界是如何運(yùn)轉(zhuǎn)的。

早在 1990 年，我就通過上述相互對抗的生成對抗網(wǎng)絡(luò)實(shí)現(xiàn)了這一點(diǎn)：一個網(wǎng)絡(luò)生成行動或?qū)嶒?yàn)，另一個網(wǎng)絡(luò)預(yù)測這些實(shí)驗(yàn)的后果。世界模型在預(yù)測和理解世界方面越來越好，而實(shí)驗(yàn)生成器在發(fā)明新實(shí)驗(yàn)方面越來越好，這些新實(shí)驗(yàn)仍然會給世界模型帶來驚喜。事實(shí)上，這些神經(jīng)網(wǎng)絡(luò)是具有人造好奇心的自我驅(qū)動的“人造科學(xué)家”！近幾十年來，我們還發(fā)表了許多關(guān)于更復(fù)雜類型的人造好奇心的論文。

為了解決問題，1990 年最初的控制器/模型（C/M）規(guī)劃器使用世界模型 M 進(jìn)行簡單的 "毫秒規(guī)劃"，試圖預(yù)測和規(guī)劃其可能未來的每一個小細(xì)節(jié)。時至今日，這仍然是許多強(qiáng)化學(xué)習(xí)（RL）應(yīng)用的標(biāo)準(zhǔn)方法，例如國際象棋和圍棋等棋類游戲的 RL。

然而，早在 1990 年，我就強(qiáng)調(diào)我們必須超越這一點(diǎn)，即高層次推理，這現(xiàn)在已被認(rèn)為是一個巨大的挑戰(zhàn)。到 1991 年，我已經(jīng)有了第一個學(xué)會將復(fù)雜的時空觀察序列分解為緊湊但有意義的塊的神經(jīng)網(wǎng)絡(luò)，以及基于神經(jīng)網(wǎng)絡(luò)的分層行動序列規(guī)劃器，用于合成學(xué)習(xí)：它們已經(jīng)學(xué)會了使用基于神經(jīng)網(wǎng)絡(luò)的端到端可微分子目標(biāo)生成器生成分層強(qiáng)化學(xué)習(xí)的分層行動計劃。

在這里，強(qiáng)化學(xué)習(xí)機(jī)器會獲得額外的命令輸入（開始、目標(biāo)）。一個評估神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)預(yù)測從起點(diǎn)到目標(biāo)的當(dāng)前獎勵/成本。基于 (R)NN 的子目標(biāo)生成器也會看到（起點(diǎn)、目標(biāo)），并使用（評估器神經(jīng)網(wǎng)絡(luò)的副本）評估器神經(jīng)網(wǎng)絡(luò)，通過梯度下降學(xué)習(xí)一系列成本最小的中間子目標(biāo).強(qiáng)化學(xué)習(xí)機(jī)器會嘗試使用這些子目標(biāo)序列來實(shí)現(xiàn)最終目標(biāo)。我在 1990-1991 年提出的系統(tǒng)在多個抽象層次和多個時間尺度上學(xué)習(xí)行動計劃，并且（至少在原則上）解決了 LeCun 在 2022年稱之為 "開放問題 "的問題。

2015，更復(fù)雜的基于神經(jīng)網(wǎng)絡(luò)的世界模型

自 2015 年以來，我最近的工作主要集中在更復(fù)雜的抽象（如分層）規(guī)劃和推理上。2015年，在算法信息論的指導(dǎo)下，我描述了一種基于神經(jīng)網(wǎng)絡(luò)的人工智能，它可以在永無止境的任務(wù)序列中接受訓(xùn)練，其中一些任務(wù)由用戶提供，另一些任務(wù)則由人工智能以好奇、好玩的方式自行發(fā)明，以改進(jìn)其基神經(jīng)網(wǎng)絡(luò)的世界模型。

圖片來源：https://people.idsia.ch/~juergen/blog.html

與 1990 年的系統(tǒng)不同，人工智能的控制器 C 學(xué)會主動查詢其世界模型 M 以進(jìn)行抽象推理、規(guī)劃和決策，本質(zhì)上是 "學(xué)會思考"。更具體地說，2015年論文第 5.3 節(jié)中關(guān)于 "學(xué)會思考 "的強(qiáng)化學(xué)習(xí)提示工程師描述了 C 如何學(xué)會向 M（例如基礎(chǔ)模型）發(fā)送提示序列，而 M 是在例如所有 YouTube 視頻（包括演員的視頻）上訓(xùn)練出來的。

C 還學(xué)會解釋 M 的答案，從 M 中提取算法信息。酸性測試是這樣的：有了 M，C 學(xué)習(xí)控制任務(wù)的速度是否比沒有 M 更快？是從頭開始學(xué)習(xí) C 的任務(wù)更省錢，還是以某種可計算的方式處理 M 中的算法信息，從而實(shí)現(xiàn)抽象分層規(guī)劃和推理等功能更省錢？我在 2018 年發(fā)表的論文 "One Big Net”又向前邁進(jìn)了一步，該論文利用我在 1991 年提出的神經(jīng)網(wǎng)絡(luò)蒸餾程序，將 C 和 M 整理成一個網(wǎng)絡(luò)。

就在最近，我的團(tuán)隊因一篇 2023 年的論文而獲獎，這篇論文的靈感來自這位 2015 年的學(xué)習(xí)提示工程師。這篇論文叫做 "基于自然語言的心智社會中的頭腦風(fēng)暴"。為了解決一個給定的問題，我們讓多達(dá) 129 個大型基礎(chǔ)模型在 "頭腦風(fēng)暴 "中相互提示和訪談。它們共同解決了單個模型無法單獨(dú)解決的實(shí)際任務(wù)，例如在視覺問題解答、圖像字幕、文本到圖像合成、三維生成、自我中心檢索、具身人工智能等領(lǐng)域。有趣的新研究問題：這樣一個基于自然語言的心智社會的社會結(jié)構(gòu)應(yīng)該是怎樣的？

2023年發(fā)布的名為《基于自然語言的心智社會中的心智風(fēng)暴》論文

我們的 "學(xué)會思考 "方法還不像 ChatGPT 等那樣顯而易見，但它將會擴(kuò)大規(guī)模，我認(rèn)為它將改變一切。

順便說一下，我在開頭提到的 1991 年的老式線性Transformer與元學(xué)習(xí)機(jī)密切相關(guān)，它們不僅在這里學(xué)一點(diǎn)，在那里學(xué)一點(diǎn)，還學(xué)會自我參照，檢查、修改和改進(jìn)自己的學(xué)習(xí)算法。我提到過，我們在 1987 年就開始了這項工作，近年來又取得了很多進(jìn)展。你可以很容易地在arXiv 上找到我們最近關(guān)于這方面的許多論文。我相信，這將改變一切。

總之，我們?nèi)昵暗睦鲜缴窠?jīng)網(wǎng)絡(luò)技術(shù)為生成式人工智能提供了動力，使許多工作變得更加容易。但舊的趨勢還沒有停止：每 5 年，計算成本就會降低 10 倍。30 年后，也就是2050 年左右，人們會對今天的應(yīng)用嗤之以鼻，因?yàn)榕c那時的應(yīng)用相比，今天的應(yīng)用顯得非常原始。幾十年后，幾乎所有的智能都將超越人類大腦。

這也是我們這家成立于 2014 年的人工智能公司 NNAISENSE 的座右銘所反映的大趨勢："AI?"或 "AI For All"。

40 年前，我年輕的時候認(rèn)識一個有錢人。他開了一輛保時捷。但最神奇的是：保時捷里有一個不可思議的東西：移動電話。因此，他可以通過衛(wèi)星給其他擁有類似保時捷的人打電話。

但如今，每個人的口袋里都有一部廉價的智能手機(jī)，它在很多方面都比保時捷好用得多。人工智能也將是如此。

所以，未來是光明的！人工智能不會被幾家大公司所控制。開源運(yùn)動也許只比大公司晚6-8 個月，每個人都將擁有廉價但強(qiáng)大、透明的人工智能，以多種方式改善他們的生活。

2040，AI發(fā)展的歐米伽點(diǎn)

關(guān)于AI，最遙遠(yuǎn)的未來是什么？要回答這個問題，讓我們退一步，在最廣闊的歷史背景下審視人工智能：自宇宙大爆炸以來的所有時間。2014 年，我以歷史為基礎(chǔ)，發(fā)現(xiàn)了一個非常美麗的宇宙發(fā)展的模式，名為指數(shù)加速。

事實(shí)證明，從人類的角度來看，宇宙誕生以來最重要的事件都整齊地排列在一條指數(shù)級加速的時間軸上（誤差大多低于 10%）。

事實(shí)上，歷史似乎在 2040 年左右匯聚到一個歐米伽點(diǎn)上。我喜歡稱其為歐米伽，因?yàn)橐粋€世紀(jì)前，泰亞爾·德·夏爾丹（Teilhard de Chardin）稱歐米伽指的是人類達(dá)到新高度的時刻。另外，"歐米伽 "聽起來比 "奇點(diǎn) "要好聽得多--這個詞聽起來有點(diǎn)像 "哦，我的上帝"。(皮埃爾·泰亞爾·德·夏爾丹[Pierre Teilhard de Chardin, 1881-1955年，法國古生物學(xué)家和地質(zhì)學(xué)家，耶穌會士，最為人所知的是他曾努力向世人證明基督教和科學(xué)能夠和諧共存并且相互利用。他的思想在羅馬天主教那里引起爭議，結(jié)果他因?yàn)樽诮绦叛鰡栴}而無法在法國教書，并且作品被禁。他的主要著作都在他去世以后出版。）

圖片來源：https://people.idsia.ch/~juergen/blog.html

讓我們從 138 億年前的宇宙大爆炸開始算。我們將這個時間除以 4，得到大約 35 億年。歐米伽是 2040 年左右。在歐米伽節(jié)點(diǎn)往前35 億年時，發(fā)生了一件非常重要的事情：地球上出現(xiàn)了生命。

我們再將這個時間除以4，來到9億年前，這時發(fā)生了一件非常重要的事情：類似動物的可移動生命出現(xiàn)了。

我們再將這個時間除以4，來到2.2億年前，我們的祖先哺乳動物誕生了。

我們再將這個時間除以4，來到5500 萬年前，第一批靈長類動物出現(xiàn)了，也就是我們的祖先。

我們再將這個時間除以4，1300 萬年前，第一批類人猿出現(xiàn)了，也就是我們的祖先。我不知道為什么所有這些以 4 為單位的劃分會不斷撞擊歷史上的這些決定性時刻。但它們確實(shí)如此。我也試過三等分、五等分，但似乎只有四等分有效。

我們再繼續(xù)將這個時間除以4，350 萬年前，發(fā)生了一件非常重要的事情：科技的曙光，正如《自然》雜志所說：第一批石器誕生。

我們再繼續(xù)將這個時間除以4，80 萬年前，下一個重大技術(shù)突破出現(xiàn)了：可控的火。

我們再繼續(xù)將這個時間除以4，20 萬年前，我們的祖先--解剖學(xué)意義上的現(xiàn)代人開始嶄露頭角。

我們再繼續(xù)將這個時間除以4，5萬年前，行為學(xué)上的現(xiàn)代人出現(xiàn)了，他們是我們的祖先。他們發(fā)明了弓箭，開始殖民世界。

我們再繼續(xù)將這個時間除以4，1.3 萬年前，一些非常重要的事情發(fā)生了：動物馴化、農(nóng)業(yè)、第一批定居點(diǎn)--文明的開始?，F(xiàn)在我們看到，所有的文明只是世界歷史上的一瞬間，只是宇宙大爆炸以來時間的百萬分之一。農(nóng)業(yè)和宇宙飛船幾乎是同時發(fā)明的。

我們再繼續(xù)將這個時間除以4，3300 年前，鐵器時代的第一次人口大爆炸開始了。

我們再繼續(xù)將這個時間除以4。請記住，歐米伽點(diǎn)是 2040 年左右。歐米茄減去800年——那是在 13 世紀(jì)，鐵與火相結(jié)合，在中國誕生了槍炮和火箭。從那時起，這就決定了世界的格局，從這一點(diǎn)上講，西方列強(qiáng)似乎應(yīng)該支付給中國版權(quán)費(fèi)。

我們再繼續(xù)將這個時間除以4。在博蒙特、帕潘、紐科門、瓦特和其他人（1600-1700 年代，超越了 1 世紀(jì)亞歷山大的赫倫發(fā)明的第一臺簡單蒸汽機(jī)）的舊作基礎(chǔ)上，鐵和火以更加復(fù)雜的形式結(jié)合在一起，通過改進(jìn)的蒸汽機(jī)為工業(yè)革命提供動力。

電話（如 Meucci 1857 年、Reis 1860 年、Bell 1876 年）開始了通信革命。疾病的細(xì)菌理論（巴斯德和科赫，19 世紀(jì)末）徹底改變了醫(yī)療保健，人們的平均壽命延長。大約在 1850 年，以化肥為基礎(chǔ)的農(nóng)業(yè)革命（斯普倫格爾和馮-李比希，19 世紀(jì)初）引發(fā)了第二次人口爆炸，并在 20 世紀(jì)達(dá)到頂峰，當(dāng)時世界人口翻了兩番，使 20 世紀(jì)在人類歷史上的所有世紀(jì)中脫穎而出，其驅(qū)動力是哈伯-博施制造人工肥料的工藝，它通常被稱為 20 世紀(jì)最具影響力的發(fā)明，沒有它，世界最多只能養(yǎng)活 40 億人。

我們把這個時間減去四分之一。歐米伽減去50年--這正是我們的人工智能奇跡年1990-91，也是 20 世紀(jì)三場大戰(zhàn)的結(jié)束時間：一戰(zhàn)、二戰(zhàn)和冷戰(zhàn)。1990 年，7 家最有價值的上市公司都是日本公司（如今大部分都是美國公司）；然而，中國和美國西海岸開始迅速崛起，為 21 世紀(jì)奠定了基礎(chǔ)。

通過手機(jī)和無線革命（基于 19 世紀(jì)發(fā)現(xiàn)的無線電波）以及普及廉價個人電腦，數(shù)字神經(jīng)系統(tǒng)開始橫跨全球。蒂姆-伯納斯-李（Tim Berners-Lee）在瑞士的歐洲粒子對撞機(jī)上創(chuàng)建了 WWW?，F(xiàn)代人工智能也是在這一時期開始的：20 世紀(jì) 80 年代，恩斯特- 迪克曼斯（Ernst Dickmanns）團(tuán)隊在慕尼黑制造出第一輛真正意義上的自動駕駛汽車（到 1994年，他們的機(jī)器人汽車在高速公路上行駛，時速高達(dá) 180 公里）。

當(dāng)時，我正在撰寫上述 1987年關(guān)于 AGI 的畢業(yè)論文，該論文不僅介紹了學(xué)習(xí)算法，還介紹了元學(xué)習(xí)（meta-learning）或?qū)W會如何學(xué)習(xí)（learning to learn）算法，即通過經(jīng)驗(yàn)學(xué)習(xí)更好的學(xué)習(xí)算法（現(xiàn)在是一個非常熱門的話題）。

1990-91 年，我們在慕尼黑工業(yè)大學(xué)完成了我們的 "奇跡年"（Annus Mirabilis-91），通過自監(jiān)督/非監(jiān)督學(xué)習(xí)、LSTM/Highway Net/ResNet 原理（現(xiàn)在就在你口袋里的智能手機(jī)上）、人工好奇心和用于發(fā)明自己問題的代理的生成式對抗網(wǎng)絡(luò)、第一個變形金剛變體（見上文）、將教師網(wǎng)絡(luò)提煉為學(xué)生網(wǎng)絡(luò)、在多抽象層次和多時間尺度上學(xué)習(xí)行動計劃以及其他令人興奮的內(nèi)容，這些都是當(dāng)今最被引用的網(wǎng)絡(luò)和現(xiàn)代深度學(xué)習(xí)的根源。其中的許多內(nèi)容已經(jīng)非常普及，并改善了數(shù)十億人的生活。

未來宇宙，人類文明的下一步，超越生物學(xué)的新事物

我們再用四分之一的時間。歐米伽減去 13 年--那是不久的將來，差不多是 2030 年，許多人預(yù)測那時廉價的人工智能將擁有人類的腦力。然后在歐米伽之前的最后 13 年左右，不可思議的事情將會發(fā)生。

當(dāng)然，時間不會因?yàn)闅W米伽而停止。也許終結(jié)的只是人類主導(dǎo)的歷史。歐米伽之后，許多好奇的元學(xué)習(xí)型人工智能會發(fā)明自己的目標(biāo)（在我的實(shí)驗(yàn)室里已經(jīng)存在了幾十年），它們會迅速自我完善，只受限于可計算性和物理學(xué)的基本限制。

超智能人工智能會做什么？太空對人類充滿敵意，但對設(shè)計得當(dāng)?shù)臋C(jī)器人卻很友好，它提供的資源比我們這層薄薄的生物圈要多得多，而我們所接受的能量還不到太陽的十億分之一。雖然一些好奇的人工智能仍會對生命著迷，至少在它們還沒有完全理解生命的時候是這樣，但大多數(shù)人工智能會對太空中機(jī)器人和軟件生命所面臨的難以置信的新機(jī)遇更感興趣。

通過小行星帶及其他地方無數(shù)自我復(fù)制的機(jī)器人工廠，它們將改變太陽系，然后在幾十萬年內(nèi)改變整個銀河系，在數(shù)百億年內(nèi)則改變可到達(dá)的宇宙其他地方。盡管有光速的限制，但不斷擴(kuò)張的人工智能球?qū)⒂凶銐虻臅r間殖民和塑造整個可見的宇宙。

讓我來拓展一下你的思維。宇宙還很年輕，只有 138 億歲。還記得我們一直在除以 4嗎？現(xiàn)在讓我們乘以 4！讓我們展望未來，屆時宇宙的年齡將是現(xiàn)在的4倍：大約 550 億年。到那時，可見的宇宙將充滿智慧。因?yàn)樵跉W米伽之后，大多數(shù)人工智能將不得不前往物質(zhì)資源最豐富的地方，制造更多更大的人工智能。不這樣做的人工智能將不會產(chǎn)生影響。

多年前，我在一次 TEDx 演講中說過：將人類文明視為更宏偉計劃的一部分，是宇宙走向越來越深不可測的復(fù)雜性的重要一步，但不是最后一步。現(xiàn)在，人類文明似乎已經(jīng)準(zhǔn)備好邁出下一步，這一步堪比 35 億多年前生命的發(fā)明。這不僅僅是另一場工業(yè)革命，這是一種超越人類甚至生物學(xué)的新事物。我們有幸見證它的開始，并為之做出貢獻(xiàn)。

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級智能，數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類風(fēng)險等等領(lǐng)域的前沿進(jìn)展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進(jìn)入。