8月8日，AI領域的先驅(qū)人物、Coursera及AI Fund創(chuàng)始人吳恩達接受了The Moonshot播客的專訪。本次對話圍繞吳恩達的學術生涯起點、Google Brain項目的創(chuàng)立與發(fā)展、以及AI的未來趨勢，回顧了Google Brain項目賴以成功的兩大顛覆性基石——“規(guī)模至上”與“單一學習算法”假說的提出與論證；在當時學術界主流范式下，這些觀點所遭遇的巨大阻力與爭議。此外，還談到了了Google Brain團隊的關鍵合作、硬件選擇（GPU與TPU）的曲折、早期應用場景的開拓、以及吳恩達對AI未來、教育和工作的看法。

吳恩達教授回憶，在21世紀初，主流學術界專注于發(fā)明新算法，而他提出的“通過擴大神經(jīng)網(wǎng)絡規(guī)模來提升性能”的觀點被認為是缺乏學術嚴謹性的“堆砌硬件”。這一反共識的觀點最終被證明是開啟深度學習革命的關鍵鑰匙。吳恩達受神經(jīng)科學啟發(fā)，提出可能存在一種通用學習算法，能處理視覺、聽覺等所有不同類型的數(shù)據(jù)。預言了今天“基礎模型”的核心思想。此外他還指出，一項技術如果脫離了應用場景，便毫無價值；AI得以成功的原因之一在于它的包容性，AI距離完全自動化大多數(shù)人的所有工作還非常遙遠。

01

不被看好的強化學習與單一算法假說

您能和觀眾們分享一下您那篇與眾不同且令人印象深刻的研究生論文是關于什么的嗎，包括它在技術層面的趣味點以及您具體實現(xiàn)了什么？回顧我們在X討論啟動Google Brain項目時，我記得您的核心論點有兩點。第一是，規(guī)模至關重要，盡管當時還沒有人真正成功實現(xiàn)過規(guī)?；@一點尚未得到證實。第二是關于大腦用相似區(qū)域處理來自感官的不同信號，您當時是否提出了一個問題：要求一個系統(tǒng)去處理許多截然不同的任務，是否反而能讓它變得更強大、更智能，而不是更脆弱？

吳恩達：我在Berkeley 攻讀博士學位的論文，是構(gòu)建了一個小型的神經(jīng)網(wǎng)絡來控制直升機飛行。我想這在當時非同尋常，因為強化學習現(xiàn)在非常熱門，但在那時卻無人問津。我最終說服了一些朋友讓我使用他們的直升機，然后用我們發(fā)明的一個小算法訓練了一個小型的神經(jīng)網(wǎng)絡，讓它在空中穩(wěn)定懸停。它懸停得非常穩(wěn)固。所以當觀看它的視頻時，你會分不清這究竟是動態(tài)影像還是一張靜態(tài)照片。我認為那太酷了。這件事讓強化學習在當時獲得了遠超以往的關注。而且，飛直升機本身也很有趣。那段經(jīng)歷很有趣。我認為自己很幸運，我做的許多事都是不走尋常路，嘗試一些新奇的東西。有時候這些嘗試不會成功，這是探索未知時的一部分。但一旦成功，就像那個直升機的研究成果，它就獲得了大量的關注，并在當時推動了強化學習領域的發(fā)展。

（關于規(guī)模至上的爭議）我想說，在那個時候，這一點在學術上確實還沒有被證實。事實上，我記得去參加 NeurIPS 會議，我到處和人說，我們必須擴大深度學習算法的規(guī)模。結(jié)果我從一些非常資深的前輩那里得到的建議是：“嘿 Andrew，你為什么要去構(gòu)建更大的神經(jīng)網(wǎng)絡呢？去發(fā)明新算法吧?！?所以當時這個想法其實飽受爭議。是的，我記得是在 2010 年向 Larry Page 推薦了后來成為 Google Brain 的項目，但大約從 2008 年起，我就開始在各個學術會議上宣揚這個觀點。在那個時候，“規(guī)?！边@個概念實際上是很有爭議的，人們并不相信。一些非常資深的前輩還善意地勸我，我記得 Yoshua Bengio 就說：“嘿 Andrew，這樣做對你的職業(yè)發(fā)展不利?！?/p>

（關于單一學習算法的說法）這可以分為兩個部分。核心是“單一學習算法”的假說。我的靈感來源于一些神經(jīng)重連的實驗。這些實驗表明，如果一個人不幸大腦某部分受損，其他部分的大腦組織，是同樣物理性質(zhì)的腦組織，可以學會之前由受損部分負責的功能，比如用原本處理聽覺的腦區(qū)去“看”。這讓我不禁思考，當然不只我一個人，我們是否真的需要為視覺、聽聞以及所有這些不同的任務開發(fā)完全不同的軟件或算法？還是說，可能只存在一種學習算法，只要給它不同類型的數(shù)據(jù)，無論是文本、圖像、音頻還是其他什么，它就能學會如何處理這些數(shù)據(jù)。

現(xiàn)在回想起來，我認為這個“單一學習算法”的假說，最終被證明其正確性遠超其錯誤。但再反思一下，我覺得我當時可能過分強調(diào)了從神經(jīng)科學中尋找靈感。事實證明，來自神經(jīng)科學的許多具體細節(jié)并沒有太大幫助。但是，這個更高層面的想法，即人類大腦可能用一種算法處理許多事情，因此我們應該嘗試讓計算機也只用一種算法，而不是讓一萬個人去發(fā)明一千種算法，或許可以讓一個小團隊只發(fā)明一種算法，然后給它喂養(yǎng)各種截然不同的數(shù)據(jù)，這個想法最終非常成功。這個想法在當時被認為是異端邪說，但現(xiàn)在卻成了大家都在遵循的準則。沒錯，我至今還記得有一次在美國國家科學基金會的一個研討會上發(fā)言，我當時在談論“單一學習算法”假說。那時我還很年輕，言語間可能有點嘲諷那些在計算機視覺領域做“手工工程”的人。我記得一位非常資深的計算機視覺研究員當場站起來對我大聲斥責。作為一個年輕教授，那次經(jīng)歷給我造成了一點心理創(chuàng)傷。不過，多年后再回首，你看結(jié)果還不錯。

02

在神經(jīng)網(wǎng)絡被冷落的年代，靠“秘密數(shù)據(jù)”堅持了下來

在2010年甚至更早的2008年，神經(jīng)網(wǎng)絡在AI領域的大部分時間里仍然是過時的技術。對于將神經(jīng)網(wǎng)絡作為一種表示形式，您當時有什么看法？如今這已是理所當然，但當時它遠非主流。另外在早期您堅持下去的信心是什么？

吳恩達：神經(jīng)網(wǎng)絡在學術圈長期處于被冷落的境地，被許多AI研究者排斥。事實上，回想起來，當時要在頂級會議上發(fā)表一篇關于神經(jīng)網(wǎng)絡的論文非常困難。這也是為什么我早期的許多工作都發(fā)表在各種研討會上，而不是主會議上。我想，在那個年代，學術界的興奮點在于，你要通過非常復雜的數(shù)學推導、提出一個極為聰明的想法，或許再證明一個定理，才能在頂級會議上發(fā)表論文，并以此贏得同行的尊重。這時我出現(xiàn)了，說：“我們不如搞一大堆計算機，把模型做得更大。”這種想法被認為是：“天啊，這有什么學術嚴謹性可言？你這不就是在堆砌硬件嗎？為什么要做這種事？”所以我認為這個想法在當時爭議極大。

坦率地說，我后來親眼目睹，隨著擴大深度學習規(guī)模的做法開始真正奏效，一些花了二十年職業(yè)生涯去微調(diào)算法的研究者，他們在情感上遭受了巨大的沖擊。因為他們將幾十年的心血都投入到了用各種精巧的方式調(diào)整算法上。然后，一群像我這樣的人出現(xiàn)了，我們說：“我們建一個超大型計算機，然后把海量數(shù)據(jù)喂給它。”當我們的方法開始超越他們幾十年的智力成果時，這對他們來說確實非常艱難。他們中的許多人后來也適應了，并繼續(xù)做出了很好的工作。但是，當顛覆性的創(chuàng)新出現(xiàn)，讓你為之奮斗了半生的東西變得過時，人們有時需要很長時間來調(diào)整適應。

事實證明，我們第一篇推動使用GPU來擴大神經(jīng)網(wǎng)絡規(guī)模的論文，這是當時另一個備受爭議的想法，最終也只能發(fā)表在一個研討會上，因為根本無法被主會議接受。而現(xiàn)在，人人都知道應該使用GPU，這已經(jīng)是不言自明的常識了。我認為當時一件有趣的事情是，我們有一小群人，不只是我，也包括在加拿大CIFAR會議上的Geoff Hinton等人，我們當時正在生成的數(shù)據(jù)已經(jīng)顯示出非常強勁的勢頭。很多時候，顛覆性創(chuàng)新在初期確實無法與現(xiàn)有技術抗衡。我們當時訓練的神經(jīng)網(wǎng)絡，性能肯定比不上傳統(tǒng)的計算機視覺算法或傳統(tǒng)的文本處理算法。但我們心里清楚，我們正走在正確的道路上，因為它雖然還不具備競爭力，但正在飛速進步。我和我在Stanford的學生們都預見到，只要我們能構(gòu)建出更大規(guī)模的版本，它就一定能變得有競爭力。這正是我們當時決心下的賭注。

（關于堅持的信心來源）因為我有“秘密武器”，就是數(shù)據(jù)。其實也并非秘密，我們都發(fā)表了，只是其他人不相信而已，所以跟秘密也差不多。我的學生 Adam Coates 和 Honglak Lee 制作了一張圖表，橫軸是模型的規(guī)模，縱軸是模型的性能，我們測試了大量的不同模型。在那項研究中，我們嘗試的每一種模型，其性能曲線都是穩(wěn)定地向右上方攀升的。所以我基于數(shù)據(jù)確信，我們能構(gòu)建的模型越大，其性能就會越好。我認為，作為一名科學家或創(chuàng)新者，你不能靠詢問所有人的意見然后取一個平均值來做出卓越的工作。聽取他人意見固然可以，但最終，你必須有自己堅信的假說。而我的假說，正是由我們在Stanford生成并發(fā)表的數(shù)據(jù)所塑造的。但不知為何，我當時很難讓人們注意到這一點。所以，在其他團隊也投身于此之前，我們在擴大規(guī)模這條路上實際上獲得了很長時間的領先優(yōu)勢。

03

對GPU的再思考

Google Brain開始籌建后，Jeff Dean成了您項目中的得力搭檔，你們是如何相遇和展開合作的，又是如何分工的？Jeff為Google帶來的重大貢獻之一，是將在浩如煙海的信息中精準查找內(nèi)容這一挑戰(zhàn)進行分解。這種“分解問題，再整合結(jié)果”的模式，與你們訓練更大規(guī)模神經(jīng)網(wǎng)絡的工作原理是否驚人地相似？GPU和TPU分別是什么嗎？

吳恩達：我感到非常幸運，Jeff Dean能加入這個項目。當時在Larry Page的指示下，我和Sebastian Thrun正在籌備這個項目。Larry讓我去和Google內(nèi)部的許多人交流。我記得我與Jeff Dean、Greg Corrado、Tom Dean、Jeff Yagnik等許多人都聊過。我向Jeff推銷了我的想法：只要我們能構(gòu)建更大的神經(jīng)網(wǎng)絡，一切都會變得更好。正是這個想法點燃了Jeff的熱情。隨著項目的推進，我們所有參與項目的人都明白，如果能讓Jeff更深入地參與進來，他將為項目帶來不可估量的價值。所以，我不知道我們中是否有人跟Jeff提過這件事，但我們私下確實討論過，比如我和Greg Corrado會商量：“我們該怎么做才能讓Jeff保持興奮，讓他持續(xù)投入進來？”我們總是想方設法確保他興致高昂，并希望他能參與得越來越多。幸運的是，他確實這樣做了。當他深度參與進來，我們每天一起探討問題時，他自然而然地成為了系統(tǒng)方面的負責人。畢竟，他構(gòu)建了Google的大量基礎設施，對系統(tǒng)規(guī)模化有著極為深刻的理解。而我則成了機器學習方面的負責人。我認為，正是這種我?guī)頇C器學習專業(yè)知識、Jeff帶來計算機系統(tǒng)專業(yè)知識的伙伴關系，才使我們能夠利用Google的基礎設施來大規(guī)模擴展機器學習算法，并最終取得了實實在在的成果。

當時Jeff發(fā)明了名為MapReduce的技術，其核心就是將一項任務分解，分配到大量的計算機上并行處理，最后再將結(jié)果匯總。這是我們早期進行訓練時采用的第一代方法。之后，我們不斷迭代，開發(fā)出更多版本，最終催生了像TensorFlow這樣的框架，可以說，我們的技術棧一直在持續(xù)演進。不過，我必須承認，在Google，我們有一件事做得比較慢，那就是擁抱圖形處理單元。這部分是因為Google當時已經(jīng)擁有了非常強大且成熟的中央處理器計算基礎設施。

（關于GPU和TPU的定義）大多數(shù)計算機的核心是CPU，也就是中央處理器。而GPU，即圖形處理單元，最初是為了處理計算機圖形而設計的，但后來被發(fā)現(xiàn)它在訓練超大規(guī)模的AI系統(tǒng)或超大規(guī)模神經(jīng)網(wǎng)絡方面效果絕佳。至于TPU，它是Google的一項發(fā)明，更確切地說是Google Brain團隊的發(fā)明，是Google針對訓練這些超大規(guī)模神經(jīng)網(wǎng)絡而自主研發(fā)的專用硬件。你說得對，是張量處理單元。

Google Brain團隊做出了許多非常明智的決策。但有一個決策我希望能更早地做出改變，那就是關于GPU，乃至后來的TPU的決策。我記得當時Jeff和我與許多負責構(gòu)建Google大規(guī)模集群的數(shù)據(jù)中心運營商進行過交流。那時存在一個很合理的擔憂：如果我們開始在各處零星地部署一些GPU，就會造成一個高度異構(gòu)化的計算環(huán)境，這會讓整個環(huán)境的管理和使用變得非常困難。當時，我們已經(jīng)看到GPU的效果很好。實際上，在Google Brain項目的早期，我們從事語音識別研究時，就有一兩臺GPU服務器。我至今還能回想起那臺機器的樣子：放在某人的辦公桌下面，周圍纏繞著一堆亂糟糟的線纜。通過那臺計算機，我們確實看到了GPU的潛力。但從Google數(shù)據(jù)基礎設施的視角來看，他們有一個擔憂：當時Google已有一套計算基礎設施，能讓開發(fā)者寫的代碼幾乎在任何地方無縫運行。但GPU是種截然不同的硬件，它的引入意味著程序員必須為其編寫專門的代碼。因此當時我們在考量：如果我們采購大量GPU，除了訓練AI模型，它還能用于YouTube視頻轉(zhuǎn)碼嗎？它還有其他價值嗎？

我想正是因為這些考量，我們當時有所遲疑，沒有像我本應做的那樣，在Google內(nèi)部更積極地推動GPU的應用。最后，我反倒是在我斯坦福大學的研究小組里用GPU做了一些演示，因為那是一個靈活的“草根”團隊，基礎設施亂一點也無所謂。不過話又說回來，我們用CPU也取得了相當大的進展。后來，當Brain團隊逐步轉(zhuǎn)向GPU并著手構(gòu)建TPU時，事實證明這條路最終也走得非常成功。

04

為規(guī)?；O計的注意力機制與首批商業(yè)落地

Transformer的正式發(fā)明是在Google Brain離開X之后，在此之前，您是否觀察到一些其雛形或類似的工作？Transformer在注意力機制上的創(chuàng)新之處是什么？在初創(chuàng)期，是如何挑選出幾個主攻方向的呢？是否曾因為某些方向進展不佳或商業(yè)價值有限而放棄？

吳恩達：關于Transformer論文，其絕妙之處在于，我認為時至今日，這一點也只有少數(shù)人真正理解，它的作者們是在Google Brain那種注重“規(guī)?！钡膫鹘y(tǒng)中成長起來的。因此，在構(gòu)建Transformer網(wǎng)絡架構(gòu)時，許多決策都圍繞著一個核心目標：設計一個能在GPU上實現(xiàn)卓越伸縮性的神經(jīng)網(wǎng)絡。比如其中的注意力機制，就是一種非常巧妙的設計，它能讓一個神經(jīng)網(wǎng)絡決定應該關注一個句子中的哪個部分。

（關于Transformer的注意力機制）在Transformer論文出現(xiàn)之前，主流算法的工作方式是：比如說，當你要將一個英文句子翻譯成法文時，算法會先讀完并試圖記住整個英文句子，然后再一口氣生成完整的法文譯文。這種方法在一定程度上是可行的，但非常難，尤其是當句子很長時。而Transformer論文則提出了一種創(chuàng)新的架構(gòu)：它在生成譯文時，會始終保留著完整的英文原文。在寫法語句子的過程中，它可以根據(jù)當前正在生成的位置，動態(tài)地將注意力聚焦到英文原文中相應的特定部分。事實證明，要實現(xiàn)這種動態(tài)關注，即同時審視原文和已生成的部分譯文，來決定下一步該看哪里，需要巨大的計算量。但正因為這種計算模式在GPU和TPU這類并行硬件上具有極佳的伸縮性，所以它的效果非常出色。

后來，這套機制也成為了現(xiàn)代基礎模型的基石。如今我們所做的，可以看作是一種更廣義的“翻譯”：不再是從用戶的提示“翻譯”成用戶所提問題的答案。Transformer論文之所以能取得如此輝煌的成功并獲得巨大關注，很大程度上是因為其作者們極其巧妙地設計了神經(jīng)網(wǎng)絡架構(gòu)，確保了每一步計算都具備高度的并行性，從而能在GPU上高效運行。這就為模型提供了一個理想的計算平臺，使其能利用海量數(shù)據(jù)進行訓練，進而取得卓越的效果。

（關于如何選擇主攻方向）我剛到X時，最早做的事情之一，就是在Google內(nèi)部開了一門關于神經(jīng)網(wǎng)絡的課程。如果我沒記錯的話，當時是和Tom Dean、Greg Corrado在這件事上密切合作。這門課后來非常成功，我記得有將近100人來參加。我們每周聚會，我在會上分享自己對于神經(jīng)網(wǎng)絡、規(guī)?；约癎oogle Brain項目背后的一些當時看來還很大膽的想法。幸運的是，這門課幫助我們在整個Google內(nèi)部贏得了許多支持，結(jié)識了很多“盟友”。因此，我們最先達成合作的團隊之一就是語音團隊。這主要有兩個原因：首先，我們認為通過規(guī)?；姆椒?，在提升語音識別能力方面存在巨大潛力。

正是語音識別，也就是識別音頻中的講話內(nèi)容，然后準確地將其轉(zhuǎn)寫成文字。當時，語音搜索還沒有今天這么成熟，但“對著手機應用講話，用語音在Google進行搜索”這個想法，著實令人興奮。因此，我們希望提高語音轉(zhuǎn)寫的準確率。當時，語音團隊其實已經(jīng)在小范圍地探索神經(jīng)網(wǎng)絡了，我們感覺通過幫助他們實現(xiàn)規(guī)模化，就能推動Google語音識別技術的進步。所以，最終選擇與他們合作，在某種程度上也是一個順勢而為的決定，主要取決于誰愿意與我們合作，以及和誰合作最能幫助我們驗證“規(guī)?；尚小边@一核心假設。我們很幸運，既能進行深度技術創(chuàng)新，比如發(fā)明新的神經(jīng)網(wǎng)絡架構(gòu)，同時又被要求在相對較短的時間內(nèi)拿出真實的業(yè)務成果來“問責”。

我記得除了語音項目，我們還參與了Google街景項目，即利用計算機視覺技術識別街景圖像中的門牌號，從而更精確地在Google地圖中定位房屋。事實證明，這個項目在當時所產(chǎn)生的業(yè)務影響甚至比語音識別還要大。我們還探討過如何賦能廣告業(yè)務。我還記得，Web搜索團隊早期對我們的技術是持懷疑態(tài)度的，我當時費了很大力氣也沒能說服他們。幸運的是，廣告團隊對此的態(tài)度要開放得多。

我記得當時Jeff Yagnik的團隊就在YouTube業(yè)務中應用AI技術，他們在根據(jù)視頻內(nèi)容自動打標簽以及內(nèi)容審核過濾方面，做了大量非常出色的工作。實際上，正因為我之前開的那門大約有100名Google員工參加的課程，許多不同的應用團隊都對我們的工作產(chǎn)生了濃厚的興趣。我們也非常幸運，項目早期想加入Google Brain的人就遠超我們的編制名額。所以，當有人想加入但我們又沒有全職名額時，我們就會提議：“那不如我們以項目合作的形式一起工作吧?！?這種方式最終促成了大量的合作項目。

05

從X到Google，離真實的應用場景更近

從您加入X到Google Brain項目“畢業(yè)”并入Google，大概還不到兩年時間，您當時心里是怎么想的？團隊并入Google之后，發(fā)生了哪些變化？在那之后，您本人又在Google留任了大概一年半時間，后來您的工作重心也逐漸從Google Brain轉(zhuǎn)移，更多地投入到Coursera的日常運營中了，是嗎？

吳恩達：坦白說，你提到的那幾種感受都有一些。X過去是，現(xiàn)在也依然是一個非常特別的地方。我記得當年在X大樓辦公時，那種感覺真的很棒：離我?guī)撞街b就是當時叫Chauffeur，即后來的Waymo的自動駕駛團隊，還有研究上網(wǎng)氣球的團隊，以及Glass團隊。就在我工位的咫尺之遙，這些團隊在進行著各種天馬行空、極具探索性且激動人心的項目。所以，雖然離開X被官方定義為一次“畢業(yè)”和新的開始，而且從結(jié)果來看，并入Google核心部門，從而更貼近業(yè)務、獲得更多資源，這當然不是壞事，我對此毫無遺憾，那確實為我們后來的成功奠定了基礎。但與此同時，要離開那棟每天都有各種瘋狂又酷炫的事情在身邊發(fā)生的、充滿活力的X大樓，心情也確實有那么一點苦樂參半。

（關于并入Google后的變化）并入Google主體后，團隊的目標變得更加聚焦，就是專注在神經(jīng)網(wǎng)絡和規(guī)?；@兩件事上。我們大概不會再花那么多時間跟Waymo的人泡在一起，也沒機會去免費試乘他們當時最早期的原型車了。然后，我想我們變得更，我差點想用“公司化”這個詞，但這絕不是貶義。我認為這對Brain團隊非常有益，因為我們與Google內(nèi)部的眾多業(yè)務部門連接得更加緊密了。我過去和現(xiàn)在都堅信一點：技術本身固然激動人心，我們當然要投身于深度技術的研發(fā)，但一項技術如果脫離了應用場景，便毫無價值。它的全部價值都體現(xiàn)在落地應用中。所以，當我們搬進Google主樓后，物理上離許多重要的應用團隊近了很多?；旧献咭环昼娋湍苷业侥切┱陂_發(fā)重要應用的團隊，和他們探討合作。

（關于工作重心的轉(zhuǎn)移）我與聯(lián)合創(chuàng)始人Daphne Koller基于我在斯坦福大學的機器學習課程創(chuàng)辦了Coursera，并負責其日常運營。后來，一方面是由于Google Brain的發(fā)展已經(jīng)走上正軌，我非常有信心能將團隊的領導權交接給Jeff Dean，他是一位非常出色的合作伙伴；另一方面，Coursera當時仍處于非常初期的階段，更需要投入大量的日常管理。于是，我和Jeff進行了溝通，之后花了大約一年的時間，逐步地將Google Brain的領導權交接給了他。幸運的是，這次交接也非常順利。是的，我目前仍擔任（Coursera）董事會主席。

06

AI的普惠價值將遠超模型本身

AI和機器學習的未來將走向何方？您提到每個月孵化一家新公司，一個項目在你們的孵化流程中，通常需要多長時間？基礎模型就像新時代的“電力”和“晶體管”，它們能催生出無數(shù)的可能性，但關鍵在于你必須親自動手，用它們?nèi)?chuàng)造和實踐，您是否同意這個類比？您對教育也同樣充滿熱情，能和我們分享一下這份熱情嗎？

吳恩達：我現(xiàn)在的工作，部分也是吸取了早期在X觀察你Astro的運作模式時學到的經(jīng)驗。如今，我的大部分時間都投入在運營AI Fund上，它是一個創(chuàng)業(yè)工作室，我們平均每個月會孵化一家新的創(chuàng)業(yè)公司。同時，我也會繼續(xù)通過DeepLearning.AI和Coursera投入大量精力在AI教育事業(yè)上。我認為AI領域的發(fā)展極其激動人心。像Google這樣的公司在打造基礎模型方面做得非常出色，最新版的Gemini就是一個很好的例子，團隊的工作非常棒。而我個人，則對能在這些基礎模型之上構(gòu)建的眾多應用感到無比興奮。每天激勵我工作的，就是那些海量的、很酷的應用機會。在很多領域，都存在著明確的市場需求，可以開發(fā)出改善人們生活的應用，只是目前還沒有人著手去實現(xiàn)它們。這正是我覺得激動人心的地方。

（關于孵化流程）從一個想法誕生到公司正式成立，整個周期大約是六個月。其中，差不多一半的時間用來尋找和聘請一位CEO。一旦CEO加入，他們會和我們一起工作三個月。這三個月結(jié)束后，大約有75%的項目能夠成功“畢業(yè)”并成立公司，而剩下的25%，則由我們或者他們自己決定不再繼續(xù)推進。所以，基本流程就是：CEO與我們共事三個月，然后我們正式成立一家創(chuàng)業(yè)公司。我認為，AI領域如今的一個巨大變化是，原型驗證的成本已經(jīng)大幅降低?，F(xiàn)在，如果你有一個想法，構(gòu)建一個原型去接觸用戶，以驗證或證偽你的想法，成本非常低。如果想法被證偽了，那也很好，你可能只損失了兩天時間和幾千美元。這種模式極大地加快了創(chuàng)新的迭代速度，尤其是在應用層，即我們利用AI技術構(gòu)建具體應用的層面。這與AI的技術基礎模型層形成了鮮明對比，后者仍然需要數(shù)十億美元的巨額預算和大規(guī)模的數(shù)據(jù)中心建設投入。

（關于“電力”的類比）回顧美國和其他國家的電氣化歷史，建設發(fā)電廠曾是一項無比宏大且偉大的事業(yè)，許多人投身其中并取得了巨大的成功。但如果我們再看消費電子行業(yè)，以及那些基于電力制造出來的產(chǎn)品，其總體規(guī)模要遠遠超過發(fā)電廠行業(yè)本身。AI領域的發(fā)展也會遵循類似的規(guī)律。構(gòu)建AI模型本身無疑是一個巨大的產(chǎn)業(yè)，規(guī)模龐大，但所有基于AI模型開發(fā)出的應用，其生態(tài)系統(tǒng)的總體價值將會遠超模型制造行業(yè)。

（關于對教育的熱情）我從小受到的家庭教育就是，人生的意義不在于成就自己，而在于成就他人。后來在斯坦福大學教機器學習，我年復一年在同一個教室里，講授著同樣的內(nèi)容，甚至連課堂上的笑話都一成不變。一段時間后，我開始捫心自問：從幫助學生成功的角度來看，這真的是我時間的最佳利用方式嗎？在之后的幾年里，我開始另辟蹊徑，嘗試把課程錄制成視頻，免費分享到網(wǎng)上，讓全世界的人都能看到。我還摸索著開發(fā)了自動評分測驗這類功能的原型，也從可汗學院的Sal Khan那里學到，在線視頻應該做得更短小精悍。實際上，在Coursera一炮而紅之前，我大概還做過五個其他版本的在線教育平臺，你們可能聽都沒聽說過，其中有些版本甚至只有寥寥二十幾位用戶。但正是這些寶貴的失敗，讓我學到了如何構(gòu)建一個真正可擴展的在線教育平臺。當這條路終于走通時，我意識到一個巨大的機會就在眼前：將優(yōu)質(zhì)教育帶給更廣泛的人群。于是，我邀請了我的同事Daphne Koller加入，我們便一起從零開始創(chuàng)建了Coursera。

07

AI距離完全自動化大多數(shù)人的所有工作還非常遙遠

在您看來，未來十年有哪些即將到來但人們尚未清楚預見的變革？AI將如何更廣泛地影響這個世界？您如何定義AI？Google Brain在X時期的巔峰之作可以說是那篇關于“貓臉識別”的論文，您能否談談那項研究的來龍去脈及其技術突破點？您有一個廣為人知的關于AI和工作的看法，能否分享一下？

吳恩達：關于未來變革我尤其期待一件事，就是希望看到每個人都能學會編程，尤其是學會使用這種有AI輔助的新型編程方式。在我的職業(yè)生涯中，我當然寫了海量代碼，但在個人生活中，我也會為我的孩子們寫一些小程序。比如幾周前，我就為我女兒寫了個小程序，用來打印乘法表抽認卡，幫她練習。我還花了不到一天的時間，就構(gòu)建了一個新的應用原型，我可以在手機上調(diào)用它，通過給它一個自定義的提示詞，讓它陪我聊各種話題。許多這樣的應用原型，在過去可能需要幾周甚至幾個月才能開發(fā)出來，而現(xiàn)在，可能只需要幾個小時，甚至不到一天就能完成，而且自己還不用寫太多代碼，因為AI可以代勞。

市場對軟件工程的需求是巨大的，我們很多人都渴望能有更多的軟件被開發(fā)出來，但成本一直居高不下。目前，美國50個州里已經(jīng)有46個將計算機教育納入了高中畢業(yè)的必修課，我希望有一天這個數(shù)字能變成50個。因為如果我們能讓每個人都學會使用計算機去創(chuàng)造，而不僅僅是消費內(nèi)容，讓他們成為與計算機并肩的創(chuàng)造者，那么每個人的能力都將被極大地增強。事實證明，未來最重要的技能之一，就是讓計算機聽從你的指令去完成任務的能力，因為計算機正變得空前強大。我堅信，在一個我們用全新的方式教所有孩子編程的世界里，下一代將會比我們這一代強大得多。

（關于AI對世界更廣泛的影響）AI有望帶來巨大的民主化效應。因為在當今世界，最昂貴的東西之一就是人類的專業(yè)智慧。無論是請一位頂尖的專家醫(yī)生為你診斷，還是請一位高中家教來一對一輔導你的孩子，都需要高昂的費用。盡管我沒看到能讓人的智力變得廉價的途徑，培養(yǎng)一個高技能人才的成本實在太高，但我們卻有辦法讓 AI的成本變得極其低廉。這意味著，在今天，只有少數(shù)富裕階層才能雇傭?qū)I(yè)團隊為他們服務。但在未來，我希望每一個人都能擁有一支由聰明、博學、信息靈通的AI“員工”組成的隊伍，為我們處理各種各樣的事情。完全正確。讓每個人都擁有一支今天只有富人才能負擔得起的“私人智囊團”，這將極大地賦能和提升社會中的每一個人。

（關于AI的定義）AI得以成功的原因之一，恰恰在于它的包容性。雖然AI有時讓人感覺遙不可及，但作為一個領域，我們對任何愿意加入并將其工作定義為AI的人都持非常開放的態(tài)度。所以對我個人而言，如果有人做的事情能讓計算機展現(xiàn)出任何智能的跡象，只要他愿意稱之為AI，我都完全贊同。正是因為我們這種相當包容的態(tài)度，如果你想把你的工作稱為AI，那沒問題，而不是有太多人到處去糾正說：“不，那不算真正的AI”，才讓我們這個領域能夠持續(xù)發(fā)展壯大。完全正確。當然總會有批評的聲音，比如有人會說，一個用if條件語句來做簡單判斷的程序，這也是一種智能，但這真的算AI嗎？我傾向于回答“是”。如果你覺得它體現(xiàn)了智能，那就叫它AI吧，我完全支持。我發(fā)現(xiàn)，當一個學科能夠擁抱任何行之有效的方法，而不是擺出防御姿態(tài)，到處劃分“我們”和“他們”時，這個學科往往會更成功。我認為AI就幸運地避免了這種門戶之見。

（關于“貓臉識別”研究）我們當時正是通過那篇現(xiàn)在頗有些傳奇色彩的“谷歌貓”論文來發(fā)布Google Brain項目的。我記得，我們當時的核心想法是，為了獲得足夠的數(shù)據(jù)來訓練模型，我們希望能夠直接從未標簽數(shù)據(jù)中學習。所謂的有標簽數(shù)據(jù)，是指需要投入大量人力，去給圖片打上“這是一只狗”“這是一只貓”之類的標簽，這個過程非常耗費精力。而我們想讓機器直接從未經(jīng)標注的數(shù)據(jù)中學習。具體來說，我們構(gòu)建了一個在當時規(guī)模極大的神經(jīng)網(wǎng)絡，很可能是全世界最大的。我們讓這個網(wǎng)絡去“觀看”海量的YouTube視頻，直接從視頻流中學習，看它到底能學到什么。我記得，當時我的博士生、同時也是Google Brain團隊實習生的Quoc Le，有一天他把我叫過去向我展示了一張圖像，那是一張有些模糊、如同幽靈般的黑白貓臉。這是算法在觀看了數(shù)百萬段YouTube視頻后，完全靠自己“領悟”出的概念，因為大家也知道，YouTube上有海量的貓視頻。但是，一個算法，在沒有任何人工干預，甚至沒人告訴它世界上有“貓”這種生物的情況下，僅僅通過分析海量數(shù)據(jù)，就自己“發(fā)現(xiàn)”了貓臉。這在當時是一個令人難以置信的、里程碑式的突破。

（關于AI與工作的看法）現(xiàn)在每一位知識工作者都可以利用AI獲得顯著的生產(chǎn)力提升，但AI距離完全自動化大多數(shù)人的所有工作還非常遙遠。這意味著，AI不會取代人類，但是，善用AI的人將會取代那些不使用AI的人。我這是在轉(zhuǎn)述我的朋友Kurt Langlotz的觀點，他最初是針對放射科醫(yī)生提出這個看法的，但我認為這個道理更具普適性。

時至今日，我無法想象在招聘大多數(shù)職位時，會雇傭一個連谷歌搜索都不會用的人，在一個知識經(jīng)濟時代，這簡直是天方夜譚。我想，在不遠的未來，對于絕大多數(shù)職位，我們根本不會考慮雇傭任何不懂得如何高效使用AI的人。但另一方面，薪酬水平最終會與生產(chǎn)力掛鉤。AI將使人們的生產(chǎn)力大幅提升，因此我認為，很多人通過熟練掌握AI，不僅不會被淘汰，反而會在經(jīng)濟上獲益更多，得到更高的報酬。

| 文章來源：數(shù)字開物

? END ?

【專欄】精品再讀