今天為大家?guī)硪黄贏CM ByteCast播客的完整內(nèi)容，我們特別邀請(qǐng)的嘉賓主持人Scott Hanselman對(duì)ACM Fellow、微軟研究院負(fù)責(zé)人Peter Lee進(jìn)行了專訪。

訪談里，Peter回顧了自己 40 余年的計(jì)算機(jī)科學(xué)生涯，從研究PDP-11計(jì)算機(jī)、Commodore Amiga計(jì)算機(jī)，到參與現(xiàn)代人工智能的發(fā)展。他著重闡述了依托數(shù)十年研究成果發(fā)展而來的現(xiàn)代技術(shù)，如今已變得不可或缺。他也談及自己在醫(yī)療健康領(lǐng)域的探索，包括助力他入選美國國家醫(yī)學(xué)院的相關(guān)工作，以及人工智能在醫(yī)學(xué)領(lǐng)域的潛力（和局限性）。Peter與Scott還探討了大語言模型（LLMs）的影響、傳統(tǒng)計(jì)算機(jī)科學(xué)課程中倫理教育的缺失，以及人工智能復(fù)雜度不斷提升帶來的挑戰(zhàn)。Peter還重點(diǎn)介紹了微軟研究院在科學(xué)人工智能和量子計(jì)算方面開展的一些重要工作。

來源 | ACM

原標(biāo)題：《AI技術(shù)狂飆的背后，我們失去了什么？｜深度對(duì)話微軟研究院負(fù)責(zé)人Peter Lee》

Peter Lee

Peter Lee是微軟研究院負(fù)責(zé)人。他領(lǐng)導(dǎo)微軟研究院在人工智能、計(jì)算基礎(chǔ)、健康和生命科學(xué)等領(lǐng)域培育由研究驅(qū)動(dòng)的新產(chǎn)品和業(yè)務(wù)線。2010 年加入微軟前，他曾在Defense Advanced Research Projects Agency（DARPA）工作，在那里設(shè)立了一個(gè)新技術(shù)辦公室，打造出機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué)和計(jì)算社會(huì)科學(xué)方面的業(yè)務(wù)能力。在此之前，他是卡內(nèi)基梅隆大學(xué)的教授及計(jì)算機(jī)科學(xué)系系主任。

Peter Lee博士是美國國家醫(yī)學(xué)院成員，同時(shí)在艾倫人工智能研究所、布羅德曼?巴蒂精準(zhǔn)醫(yī)學(xué)研究所（Brotman Baty Institute for Precision Medicine）和凱撒醫(yī)療集團(tuán)伯納德?J?泰森醫(yī)學(xué)院（Kaiser Permanente Bernard J. Tyson School of Medicine）的董事會(huì)任職。他與Carey Goldberg和Isaac Kohane博士共同撰寫了暢銷書The AI Revolution in Medicine: GPT-4 and Beyond。2024 年，Peter Lee被《時(shí)代》雜志評(píng)為健康與生命科學(xué)領(lǐng)域百位最具影響力人物之一 。

訪談內(nèi)容

Scott Hanselman：這里是ACM ByteCast，一檔來自ACM的播客系列節(jié)目。ACM是全球規(guī)模最大的計(jì)算機(jī)教育與科學(xué)領(lǐng)域協(xié)會(huì)之一。我們與身處計(jì)算研究與實(shí)踐交叉領(lǐng)域的研究人員、從業(yè)者以及創(chuàng)新者進(jìn)行交談。他們會(huì)分享自己的經(jīng)歷、學(xué)到的經(jīng)驗(yàn)教訓(xùn)，以及對(duì)計(jì)算機(jī)未來的愿景。

大家好，我是Scott Hanselman。這是Hanselminutes與ACM ByteCast聯(lián)合推出的又一期節(jié)目。今天我將與微軟研究院負(fù)責(zé)人Peter Lee博士對(duì)話。您的履歷相當(dāng)豐富，今天能與您交流，我感到非常榮幸。

Peter Lee：能來到這里我也很開心。非常感謝邀請(qǐng)。

Scott Hanselman：：我想稍微聊點(diǎn)有爭議性的話題，因?yàn)槭紫任蚁胝f，上周我剛過了生日，而今年，要是我沒理解錯(cuò)的話，您就65歲了，對(duì)嗎？

Peter Lee：是的，真是不敢相信。

Scott Hanselman：是啊。我上周剛滿51歲，這段時(shí)間一直在回顧自己過去所處的領(lǐng)域……我有32年的軟件從業(yè)經(jīng)驗(yàn)，而您的經(jīng)驗(yàn)更豐富。這是什么感覺呢？因?yàn)椋绻芸吹轿疑砗?，就?huì)發(fā)現(xiàn)我用Raspberry搭建了一臺(tái)PDP-11，最近一直在研究這類東西。我還保留著小時(shí)候用過的康懋達(dá)64電腦。我真的在回想，這個(gè)領(lǐng)域已經(jīng)取得了多么大的進(jìn)展。在計(jì)算機(jī)科學(xué)領(lǐng)域深耕四十多年，如今身處這個(gè)人工智能的時(shí)代，您是什么感受呢？

Peter Lee：首先，既然你提到了PDP-11和康懋達(dá)Amiga電腦，我對(duì)這些設(shè)備可是情感懷念深厚。其實(shí)，我第一份有報(bào)酬的工作就是擔(dān)任PDP-11的系統(tǒng)管理員，我還記得當(dāng)時(shí)學(xué)習(xí)如何用繞線連接磁芯存儲(chǔ)器的日子。說到康懋達(dá)的Amiga，是Amiga而不是64哦，我當(dāng)年還從密歇根大學(xué)的研究生學(xué)業(yè)中抽時(shí)間加入了一家初創(chuàng)公司。在那家公司，我們當(dāng)時(shí)想做的一件事就是把文字處理、電子表格和繪圖這類生產(chǎn)力軟件移植到Apple IIe和康懋達(dá)Amiga電腦上。那么你有沒有用過AmigaWrite？

Scott Hanselman：：用過。

Peter Lee：那里面有我寫的代碼呢。

Scott Hanselman：：真的嗎？

Peter Lee：那家公司最后沒怎么成功，但我們當(dāng)時(shí)得自己動(dòng)手做鼠標(biāo)之類的東西，因?yàn)槟菚r(shí)候那些電腦根本沒有鼠標(biāo)，可要用上那些現(xiàn)代化的生產(chǎn)力軟件，鼠標(biāo)又是必需的。所以說，我對(duì)那些日子真的充滿了懷念。我也思考過這些事，Scott，我猜你口袋里應(yīng)該揣著手機(jī)吧？

Scott Hanselman：：當(dāng)然了。

Peter Lee：我覺得你帶著手機(jī)，是因?yàn)榭茨銧顟B(tài)挺自在放松的 —— 因?yàn)槿缃褚前咽謾C(jī)忘在家里或者酒店房間，你肯定會(huì)覺得不自在，就像少了點(diǎn)什么，心里沒底，好像沒法正常生活似的。從研究的角度來看，我認(rèn)為這部手機(jī)里凝聚了計(jì)算機(jī)科學(xué)研究的六大重要成果。比如20世紀(jì)70年代興起的超大規(guī)模集成電路（VLSI）設(shè)計(jì)，受Linux或Unix啟發(fā)開發(fā)的操作系統(tǒng)內(nèi)核，還有軟件定義的移動(dòng)無線電臺(tái)等等。

這些成果都源自世界頂尖大學(xué)計(jì)算機(jī)系以及貝爾實(shí)驗(yàn)室這類優(yōu)秀研究機(jī)構(gòu)的硬核學(xué)術(shù)研究。這些研究成果先是發(fā)表了出來，隨后轉(zhuǎn)化成了一系列技術(shù)，而這些技術(shù)如今已經(jīng)成了你一天到晚都離不開的東西?；叵肫饋?，這真的挺令人驚嘆的。

所以，比如說，當(dāng)我看到如今大語言模型（LLMs）和生成式人工智能的發(fā)展時(shí)，我腦海中想的問題不在于是否會(huì)出現(xiàn)通用人工智能（AGI），而在于大語言模型這類技術(shù)何時(shí)，以及是否會(huì)成為另一個(gè)你清醒時(shí)片刻都離不開的技術(shù)。我覺得這種情況是有可能發(fā)生的，不過，隨著我漸漸臨近退休，回顧這一切的發(fā)展，會(huì)發(fā)現(xiàn)技術(shù)的演變實(shí)在不可思議 —— 它們已經(jīng)到了我們時(shí)時(shí)刻刻都要依賴，甚至關(guān)系到我們的心理健康和情緒穩(wěn)定的地步。

Scott Hanselman：“離不開它”這種說法真的很有意思。我和我的手機(jī)關(guān)系很特殊，因?yàn)樗€運(yùn)行著我的人工胰腺系統(tǒng)。我上周在約翰內(nèi)斯堡待了兩周，特意買了一部備用手機(jī)。雖說我會(huì)開手動(dòng)擋車，也能像以前那樣用針頭采血測(cè)血糖——我確實(shí)這么做了二十年?？涩F(xiàn)在為什么我會(huì)覺得離不開它了呢？我必須讓手機(jī)24小時(shí)都在藍(lán)牙范圍內(nèi)，要是手機(jī)丟了、摔壞了或者被偷了，我得立刻連上另一部手機(jī)，因?yàn)槲倚枰掷m(xù)血糖監(jiān)測(cè)儀正常工作。我妻子不是糖尿病患者，不過她是護(hù)士，她說：“你完全可以像90年代那樣，用針頭扎手指測(cè)血糖啊?！蔽耶?dāng)時(shí)就說：“那簡直難以想象。你怎么能這么說？”

Peter Lee：這其實(shí)就是所謂的“轉(zhuǎn)變”。在醫(yī)療技術(shù)的采用史上，這種轉(zhuǎn)變體現(xiàn)得最為明顯。我最常用的例子是超聲波技術(shù)。超聲波發(fā)明很早，但直到20世紀(jì)50年代末，技術(shù)人員才提出可以將其用作醫(yī)學(xué)診斷工具。如今，孕婦去看婦科或產(chǎn)科醫(yī)生時(shí)，都會(huì)通過超聲波來檢查胎兒和母體的生殖系統(tǒng)。但在20世紀(jì)50年代末這項(xiàng)提議剛出現(xiàn)時(shí)，人們是很害怕的。這會(huì)傷害我的寶寶嗎？會(huì)影響我的生育能力嗎？醫(yī)生們能看懂這些模糊的圖像嗎？還有各種其他的問題嗎？因此，超聲波花了大約十年時(shí)間才成為標(biāo)準(zhǔn)的診療手段。

那么，我所說的“轉(zhuǎn)變”是什么意思呢？如今，要是你作為孕婦去看產(chǎn)科醫(yī)生，而醫(yī)生說“我不相信那些花里胡哨的超聲波技術(shù)，我就用手摸肚子做觸診”，你不僅會(huì)感到震驚，甚至可能會(huì)舉報(bào)這是醫(yī)療失職。所以在醫(yī)療技術(shù)的采用史上，不僅診療標(biāo)準(zhǔn)會(huì)發(fā)生轉(zhuǎn)變，患者的需求和預(yù)期也在不斷反轉(zhuǎn)。你舉的例子也是這種“轉(zhuǎn)變”的又一體現(xiàn)。你從能夠手動(dòng)開車、自行監(jiān)測(cè)血糖水平，轉(zhuǎn)變?yōu)橐环N想法：為什么要這么做呢？方式太原始、太不精確、太危險(xiǎn)了，簡直不合情理，實(shí)際上這么做是不負(fù)責(zé)任的。

Scott Hanselman：不過我有點(diǎn)好奇，我發(fā)現(xiàn)自己就像個(gè)對(duì)著云朵揮拳頭的老頭，因?yàn)槲腋杏X年輕人總在說這東西會(huì)改變世界。而且你也知道，他們會(huì)說“行了，老頑固”，如果你反對(duì)，那在他們看來，不支持就是反對(duì)。但我記得當(dāng)年TI-83和TI-81計(jì)算器剛出來的時(shí)候，數(shù)學(xué)老師都在說：“哎呀，這樣下去沒人再會(huì)心算了。年輕人，你總不能一直帶著計(jì)算器吧?！?可現(xiàn)在呢，我們每個(gè)人口袋里都揣著超級(jí)計(jì)算機(jī)。我發(fā)現(xiàn)自己根據(jù)我的年齡和我的一代人的基礎(chǔ)來質(zhì)疑我自己的技術(shù)意見，我開始因?yàn)樽约旱哪挲g、所處的年代，來質(zhì)疑自己對(duì)科技的看法。以及我如何……我真的正在努力進(jìn)行自省。我明白它會(huì)改變世界，但我也覺得，從認(rèn)知層面來說，我們還不知道這些東西會(huì)如何改變我們的大腦，而且我也不確定口袋里揣著超級(jí)計(jì)算機(jī)，對(duì)我們的大腦來說到底是不是好事。

Peter Lee：是的，我總是更謹(jǐn)慎一些。對(duì)于我們這兩個(gè)科技行業(yè)高管來說，很容易看到各種歷史案例……比如那些真正具有賦能作用的先進(jìn)技術(shù)被采用的過程。這里面存在一種始終如一的模式。所以，就像我們這些科技從業(yè)者常會(huì)辯解的那樣，歷史的正確方向是這些技術(shù)不斷發(fā)展進(jìn)步，世界也會(huì)變得越來越好。 我認(rèn)為總體而言確實(shí)是這樣，但我也認(rèn)為值得一些反思的是，在這個(gè)過程中我們失去了一些東西。這并不是說世界沒有在變好，生活沒有在改善，我認(rèn)為從任何角度來看，情況都在向好發(fā)展。但我覺得，否認(rèn)我們正在失去一些東西、一些技能以及一些或許曾至關(guān)重要的能力，是不對(duì)的。特別是在這個(gè)新的AI時(shí)代，我想說的一點(diǎn)是，我確實(shí)看到全球頂尖的思想家都在認(rèn)真地思考這個(gè)問題，一場(chǎng)激烈的辯論正在進(jìn)行。

事實(shí)上，這是一場(chǎng)頂尖思想家之間的辯論，其規(guī)模是自人類基因組圖譜繪制完成以來我從未見過的。當(dāng)年科學(xué)界完成人類基因組圖譜繪制時(shí)，引發(fā)了一場(chǎng)軒然大波，人們爭論這意味著什么，基因工程究竟是好事還是壞事？正因?yàn)橛羞@么多頂尖思想家的參與，生物倫理學(xué)這一整個(gè)學(xué)術(shù)研究領(lǐng)域才真正迅速發(fā)展起來，成為極具影響力的思想引領(lǐng)和研究方向。我認(rèn)為這在很大程度上幫助我們從對(duì)遺傳學(xué)的認(rèn)知中獲取了盡可能多的益處，同時(shí)減輕了潛在的后續(xù)危害和風(fēng)險(xiǎn)。而我看到AI領(lǐng)域也在進(jìn)行同樣激烈的辯論，人們都在努力探究它的意義。所以我覺得這是一件好事，這也確實(shí)讓我更容易對(duì)當(dāng)下正在發(fā)生的一切保持樂觀。

Scott Hanselman：是啊。作為一名多年計(jì)算機(jī)科學(xué)教授，你是否將倫理融入教學(xué)中，讓學(xué)生思考科技背后的問題呢？我的意思是，有時(shí)候純粹為了技術(shù)而鉆研技術(shù)確實(shí)很有趣，但我總會(huì)回到一個(gè)問題上：我們做這些是在讓某些人的生活變得更好，還是明顯在讓某些人的生活變得更糟？不過，我做過一些非正式的調(diào)查，問大家：“好了，在座的各位誰上過計(jì)算機(jī)科學(xué)倫理學(xué)課程？” 結(jié)果沒人舉手。大多數(shù)人都沒上過。感覺我們并沒有在教授計(jì)算機(jī)科學(xué)倫理學(xué)，而在GPT-4之后的世界里，這感覺尤其重要。

Peter Lee：是啊，我得承認(rèn)，在職業(yè)生涯早期，我確實(shí)沒把這當(dāng)回事。實(shí)際上，要說有什么想法的話，我當(dāng)時(shí)還努力信奉硅谷那種典型的理念——技術(shù)是好東西，技術(shù)越多越好。我曾經(jīng)堅(jiān)信技術(shù)能解決我們所有的問題，認(rèn)為我們可以通過技術(shù)攻克一切難題。但我覺得，現(xiàn)在我們?cè)谶@方面的認(rèn)識(shí)已經(jīng)成熟多了。這在很大程度上是從慘痛的教訓(xùn)中得來的。我們清楚地看到，這項(xiàng)技術(shù)和其他任何技術(shù)一樣，都具有兩面性。事實(shí)上，它更耐人尋味，也有著更大的正負(fù)潛在影響，因?yàn)樾畔⒓夹g(shù)是能夠普及的，幾乎可以被每一個(gè)人所掌握。這不同于基因工程，后者需要耗資數(shù)百萬美元的濕實(shí)驗(yàn)室才能開展研究；而在這里，地球上的每一個(gè)人實(shí)際上都有可能接觸并利用這項(xiàng)技術(shù)，既可以用它來行善，也可以用它來作惡。所以我認(rèn)為，倫理問題如今變得愈發(fā)重要了。而在我職業(yè)生涯早期，就個(gè)人而言，那更像是一個(gè)“天真時(shí)代”，我們只看到了事物好的一面。

Scott Hanselman：是啊，我真的很欣賞這種技術(shù)民主化的趨勢(shì)，就像開源本身一樣。我用的這個(gè)“胰腺”（可能指某個(gè)工具或系統(tǒng)）就是一個(gè)人人都能從零開始搭建的工具包，我自己也確實(shí)這么做了。任何人都能去嘗試搭建，現(xiàn)在我們也看到了開放權(quán)重和開放模型的出現(xiàn)。對(duì)于那些處于前沿的模型，有的是封閉的，有的則更開放，會(huì)公開自身的來源、訓(xùn)練其所用的語料庫等信息，你對(duì)此有什么看法呢？你對(duì)那些前沿模型有什么看法？

Peter Lee：我認(rèn)為這也在快速演變。讓我覺得非常有趣的一點(diǎn)是，做第一次事情的成本與做第十次事情的成本之間的區(qū)別。所以如果你是OpenAI或者是OpenAI的前沿競(jìng)爭者之一，你會(huì)努力率先達(dá)到某種智能水平。在這方面，能看到一套相當(dāng)有條理的投資策略。要研發(fā)出GPT-2這類水平的模型，訓(xùn)練成本大概在500萬到1000萬美元左右。而GPT-2呈現(xiàn)出的完美損失曲線，會(huì)給人信心——繼續(xù)擴(kuò)大規(guī)模就能取得進(jìn)展。然后，要研發(fā)出GPT-3水平的模型，而且要在你所專注的任何AI訓(xùn)練領(lǐng)域始終保持領(lǐng)先，所需的計(jì)算成本通常是之前的10倍。這么一來，成本就到了5000萬到1億美元。

再到GPT-4水平，無論是在語言領(lǐng)域、分子動(dòng)力學(xué)領(lǐng)域，還是氣象建模領(lǐng)域，只要想率先達(dá)到這個(gè)水平，似乎又需要再增加10倍的投入。所以現(xiàn)在成本已經(jīng)接近10億美元了，依此類推。有趣的是，在所有與技術(shù)發(fā)明相關(guān)的領(lǐng)域里，一旦聰明人意識(shí)到某件事是可能的，那么第二個(gè)人、第三個(gè)人、第四個(gè)人乃至第十個(gè)人再去做這件事，就會(huì)容易得多。我們?cè)谛袠I(yè)中看到的情況是，不做第一個(gè)行動(dòng)的人意味著……當(dāng)然，你無法享受到先發(fā)優(yōu)勢(shì)，但你能受益于更明智的做法，而且達(dá)到同等水平的成本會(huì)低得多。

并不是說研發(fā)出GPT-4級(jí)別的基礎(chǔ)模型成本很低，它仍然相當(dāng)昂貴，但比起第一批創(chuàng)新者研發(fā)時(shí)的投入，已經(jīng)便宜多了。這是我們整個(gè)職業(yè)生涯中都經(jīng)歷過的技術(shù)發(fā)展模式，所以我們本不該對(duì)此感到驚訝，但看到它以如此驚人的速度上演，還是覺得不可思議。從商業(yè)角度來看，問題在于，在我們這個(gè)行業(yè)，率先行動(dòng)向來能帶來巨大的溢價(jià)?，F(xiàn)在的問題是，鑒于技術(shù)變革和演進(jìn)的速度，率先行動(dòng)還能像以往那樣帶來同等程度的價(jià)值嗎？

Scott Hanselman：我們本不該感到驚訝，可偏偏總會(huì)一次次被震撼到。我還記得第一次看到所謂的聊天機(jī)器人時(shí)的情景，而現(xiàn)在，我正看著自己的手機(jī)。我手機(jī)上裝了個(gè)叫 MLC Chat 的應(yīng)用，還有個(gè) 535 Mini 模型，是四比特量化的F16格式。我現(xiàn)在用一部算力 15 TOPS 的 iPhone，開著飛行模式就能和它聊天。這在我看來簡直不可思議 —— 雖然我懂其中的原理，也明白是怎么回事，但如今我們已經(jīng)到了這樣一個(gè)階段：所謂的“全?！保憧倳?huì)聽到“全棧工程師”這個(gè) 說法）已經(jīng)復(fù)雜到讓我忍不住想從最原始的部件開始動(dòng)手做東西。我正在用 7400 系列芯片組裝一臺(tái) Apple 1 復(fù)刻機(jī)，就是為了提醒自己，重新接觸到硅芯片層面的東西 —— 因?yàn)楝F(xiàn)在的技術(shù)棧實(shí)在太高了。我想親手實(shí)操一番，這樣或許才能從情感上接受：我的手機(jī)里竟然裝著一個(gè)能在飛行模式下運(yùn)行的小語言模型（SLM）。

Peter Lee：對(duì)了，你要是裝兩臺(tái) Apple 1的話，給我也來一臺(tái)啊。

Scott Hanselman：好啊，這東西確實(shí)不錯(cuò)。是一家叫SmartyKit 的公司出的套件，我把鏈接發(fā)給你。

Peter Lee：不過你剛才說的這點(diǎn)，讓我回想自己的職業(yè)生涯時(shí)又有了新的思考。我覺得，我們剛開始涉足這一行的時(shí)候，都還能完全理解并掌握整個(gè)技術(shù)棧從頭到尾的復(fù)雜細(xì)節(jié)。從硅芯片（我那會(huì)兒接觸的是繞線板）一直到所有代碼，包括應(yīng)用程序里的每一行代碼?？涩F(xiàn)在的情況復(fù)雜多了。一想到AI將帶來的可能性，我就覺得，它很快會(huì)讓我們構(gòu)建出極其復(fù)雜的系統(tǒng)，復(fù)雜到人類根本無法完全理解。這一點(diǎn)可能最先出現(xiàn)在科研領(lǐng)域。目前有一大批活躍的研究者在用生成式AI撰寫數(shù)學(xué)證明。

當(dāng)你讓AI系統(tǒng)寫數(shù)學(xué)證明時(shí)，通常會(huì)要求它用一種證明語言撰寫。比較流行的一種叫Lean，當(dāng)然還有其他的。證明語言的有趣之處在于，它們的設(shè)計(jì)使得你可以像在任何編程語言中那樣，使用簡單的類型檢查器。這些證明語言的機(jī)制是：只要通過了類型檢查，你就能確定這個(gè)證明是有效的。所以我預(yù)見，不出五年，我們就會(huì)有一個(gè)AI系統(tǒng)生成某個(gè)數(shù)學(xué)定理的證明。我們可以通過類型檢查確認(rèn)這個(gè)證明絕對(duì)有效且正確，但這個(gè)證明本身可能復(fù)雜到任何人類——即便是世界上最聰明的人——都無法理解。

這算是一個(gè)很典型的例子，說明AI正帶領(lǐng)我們進(jìn)入這樣一個(gè)階段：我們能夠構(gòu)建出能正常運(yùn)行的事物，也能看到它們?cè)谶\(yùn)行、驗(yàn)證它們確實(shí)有效，卻無法弄明白其運(yùn)作的原理和原因。而且我覺得情況會(huì)是這樣的：當(dāng)人們問我通用人工智能超級(jí)智能（GI super intelligence）的標(biāo)志是什么時(shí)，對(duì)我來說，這會(huì)是第一個(gè)標(biāo)志。你我都有這樣的根基 —— 我們?nèi)匀幌Ｍ斫庖磺?，并且?huì)做些事情來保持這種探索欲，但我覺得這會(huì)變得越來越難。

Scott Hanselman：這一點(diǎn)說得真有意思。我覺得你說得對(duì)，我這一代以及前后差不了幾年的人，始終放不下這樣一個(gè)事實(shí)：我們明明是拿了塊石頭，把它打磨平整，再注入電，如今它卻能和我們對(duì)話了。我想弄明白那電和軟乎乎的石頭到底是怎么回事，但我的孩子們，比如我那個(gè)19歲的孩子，完全愿意接受那個(gè)神奇的黑匣子能發(fā)揮作用。當(dāng)我跟他聊起這類話題時(shí)，總會(huì)說，或許我們不該把AI擬人化，還是聊聊它實(shí)際在做什么吧。他就說：“嗨，它幫我做作業(yè)了，我覺得挺好的?！蔽矣悬c(diǎn)被你的書The AI Revolution in Medicine打動(dòng)了，那本書出版時(shí)，GPT-4 還沒全面問世呢。你在書里對(duì)模型的探討很有意思，你好像在擬人化它，但同時(shí)也想理解它。既然這本好書已經(jīng)出版，你對(duì)這個(gè)模型有了更多的了解，那你會(huì)改變哪些與該模型的互動(dòng)方式呢？

Peter Lee：是的，那本書是我們?cè)?022年圣誕假期寫的，當(dāng)時(shí)GPT-4還只是個(gè)秘密項(xiàng)目。我們特意做了安排，讓這本書的出版時(shí)間與GPT-4向全球發(fā)布的月份保持一致。那段時(shí)間，我們真的既驚嘆又困惑。我把這種感受稱為九階段悲傷。其實(shí)，我記得在書中某處還提到了AI九階段悲傷。當(dāng)初OpenAI的人第一次向我展示GPT-4時(shí)，我充滿了懷疑，因?yàn)樗麄兯f的那些功能，在我看來根本不可能實(shí)現(xiàn)。接著，我從懷疑階段進(jìn)入了沮喪階段，因?yàn)槲矣X得微軟研究院的同事們好像被這東西騙了。

然后，我開始感到擔(dān)憂，因?yàn)槲野l(fā)現(xiàn)，哇，微軟可能真的會(huì)在這東西上押下重注。但后來親自上手體驗(yàn)后，我開始見識(shí)到它的神奇之處。我還記得當(dāng)時(shí)那種喜悅感，心想：哇，這東西簡直……我從沒想過自己能活到見證這樣的技術(shù)出現(xiàn)，更別說能親手使用它了。再后來，就進(jìn)入了一段極度投入的時(shí)期。所以說，人會(huì)經(jīng)歷這些階段，但在最初的喜悅、興奮到失眠的階段里，那些讓人產(chǎn)生共鳴、誘使你陷入擬人化想象的方面，最終都變得非常有趣。而在醫(yī)學(xué)領(lǐng)域，這種現(xiàn)象也被反復(fù)觀察到。事實(shí)上，在我們的書出版一個(gè)月后，加州大學(xué)圣迭戈分校和斯坦福大學(xué)聯(lián)合在一份醫(yī)學(xué)期刊上發(fā)表了一篇論文，其中提到他們使用GPT-4回復(fù)患者的電子郵件。

他們將這些AI回復(fù)與人類醫(yī)生所寫的郵件進(jìn)行了對(duì)比。隨后開展了一項(xiàng)盲測(cè)，讓患者和醫(yī)生對(duì)這些針對(duì)患者咨詢的回復(fù)質(zhì)量和準(zhǔn)確性進(jìn)行評(píng)分。結(jié)果顯示，AI回復(fù)不僅在準(zhǔn)確性上與人類醫(yī)生不相上下，而且在患者看來，AI生成的回復(fù)更具同理心，兩者的比例達(dá)到了9:1。當(dāng)然，說機(jī)器能有同理心，聽起來似乎很離譜。但我認(rèn)為，這背后的實(shí)際情況是，疲憊不堪的醫(yī)生沒時(shí)間寫超過兩三句話，只能直奔主題，然后趕緊處理下一封郵件。而AI則可以寫好幾段內(nèi)容，并且可能會(huì)記得在問診過程中患者提到過要去看海鷹隊(duì)的比賽之類的事情，還能在回復(fù)中加入這些貼心的個(gè)人化細(xì)節(jié)。所以說，這里面既有有趣又有令人不安的地方，但這種方式似乎確實(shí)能以一種非常有意義且非常實(shí)際的方式觸動(dòng)人們。我想，作為一個(gè)社會(huì)，我們至今仍在努力適應(yīng)這一現(xiàn)象。

Scott Hanselman：沒錯(cuò)，我突然想到，理論上來說，只要有恰當(dāng)?shù)奶崾?，再加上控制人態(tài)度得當(dāng)，AI可以擁有無限的同理心和耐心。我總是會(huì)回到同理心這個(gè)話題上。當(dāng)下這個(gè)世界需要更多同理心，科技領(lǐng)域也需要更多同理心。我用GitHub Copilot的時(shí)候，不會(huì)讓它幫我做作業(yè)。我基本上把它當(dāng)成一個(gè)熱情的結(jié)對(duì)編程伙伴，而且我發(fā)現(xiàn)它有著無限的耐心。它從不評(píng)判我，從不刻薄，也從不冷漠。所以，只要我跟它好好溝通，理論上它就能擁有無限的同理心。你的書里那個(gè)后記讓我印象很深。你說：“僅僅通過預(yù)測(cè)下一個(gè)詞，不可能產(chǎn)生智能——可事實(shí)真的如此嗎？”難道我只是一個(gè)統(tǒng)計(jì)模型，只會(huì)預(yù)測(cè)Hansel接下來最可能說什么詞嗎？這就是我的本質(zhì)嗎？

Peter Lee：所以我覺得，在我們寫那本書的時(shí)候，我真的很困惑，但如今我對(duì)正在發(fā)生的這一切的理解和接受程度已經(jīng)有了很大提升。的確，這些大型語言模型的基礎(chǔ)預(yù)訓(xùn)練任務(wù)就是預(yù)測(cè)對(duì)話中的下一個(gè)字。從這個(gè)角度來說，可以說這些大型語言模型的訓(xùn)練目標(biāo)除了這個(gè)之外，并無其他實(shí)用目的。不過，我想舉這樣一個(gè)例子。比如有句話：“兇手是______”。如果你想選出最合適的詞來填補(bǔ)這個(gè)空白，那么這句話“兇手是______”得放在比如一本完整的阿加莎的謀殺懸疑小說的語境中來看。要是你純粹從統(tǒng)計(jì)學(xué)角度去處理這個(gè)問題，那么即便有數(shù)千本懸疑小說和短篇故事可供參考，你試圖通過統(tǒng)計(jì)模式來找出最可能出現(xiàn)的兇手名字，也得不到什么靠譜的答案。

相反，要真正優(yōu)化填補(bǔ)空白的質(zhì)量，你得具備一定的演繹推理能力。你需要理解不同情境下人類的心理，知道是什么在驅(qū)動(dòng)他們，他們?cè)诿鎸?duì)特定詢問時(shí)會(huì)有怎樣的反應(yīng)，諸如此類的一切。所以，當(dāng)我們?cè)噲D優(yōu)化填補(bǔ)空白或下一個(gè)字的預(yù)測(cè)能力時(shí)，背后的原理其實(shí)是一個(gè)極其龐大、規(guī)?？氨忍煳臄?shù)字的隨機(jī)過程，這個(gè)過程有可能意外地發(fā)現(xiàn)能夠?qū)崿F(xiàn)某些推理功能的神經(jīng)回路。而這種情況居然真的會(huì)發(fā)生，即便只是偶然發(fā)生，也足以令人驚嘆。但我們正在操作的規(guī)模，確實(shí)讓這種情況成為了現(xiàn)實(shí)。因此，并非是下一個(gè)字的預(yù)測(cè)本身讓我們覺得模型似乎在思考，而是高度優(yōu)化下一個(gè)字預(yù)測(cè)能力的過程，讓我們有機(jī)會(huì)真正發(fā)現(xiàn)并固化這些能實(shí)現(xiàn)各種功能的神經(jīng)回路片段。

Scott Hanselman：是啊。我曾用一個(gè)類比給一些年輕人解釋過，不知道這個(gè)類比是否恰當(dāng)：作為人類，我們的“?！保ㄓ糜诖鎯?chǔ)近期信息）容量有限。隨著年齡增長，我們會(huì)積累起越來越龐大的堆（用于存儲(chǔ)長期信息），并且不斷把堆里的東西調(diào)到棧中使用。有些演講者、有些思想家，比如《紐約時(shí)報(bào)》的評(píng)論員Jamelle Bouie，他似乎擁有海量的知識(shí)儲(chǔ)備，能調(diào)動(dòng)起自己讀過的所有書籍里的內(nèi)容。他詞匯量驚人，我很欽佩他能靈活調(diào)用這些智慧片段的能力，而我自己卻總在梳理自身所有經(jīng)歷時(shí)感到吃力。我認(rèn)為，當(dāng)AI的棧（也就是它的上下文窗口）甚至超過最聰明的人類時(shí)，它就會(huì)給人一種通用人工智能（AGI）的感覺。關(guān)鍵就在于它會(huì)擁有超大的上下文窗口，大到能涵蓋整個(gè)人類的一生。

Peter Lee：是啊。到目前為止，大多數(shù)情況下，大型語言模型，特別是Transformer模型，在記憶信息方面還相當(dāng)不完善。在將訓(xùn)練語料訓(xùn)練進(jìn)Transformer模型的過程中，會(huì)對(duì)這些語料進(jìn)行大規(guī)模的壓縮。這一點(diǎn)，我一直試圖向醫(yī)生們解釋，因?yàn)樗麄冋谂斫馍墒紸I。要知道，與普通計(jì)算機(jī)不同，事實(shí)上，醫(yī)生們?cè)诰W(wǎng)上使用的一個(gè)很受歡迎的應(yīng)用（或許是最受歡迎的應(yīng)用）叫做UpToDate。它本質(zhì)上是一個(gè)針對(duì)高度精選的醫(yī)學(xué)知識(shí)的搜索引擎。所以在UpToDate中，你提出問題，就能得到醫(yī)學(xué)上精準(zhǔn)的答案。我們已經(jīng)習(xí)慣了使用這類工具，就像使用網(wǎng)絡(luò)搜索一樣。輸入查詢，期待得到一系列相當(dāng)精準(zhǔn)的答案。但Transformer模型不具備這種能力，它的記憶能力非常不完善。當(dāng)然，這種情況正在改變，因?yàn)閺母旧蟻碚f，基于計(jì)算機(jī)的系統(tǒng)沒理由不能實(shí)現(xiàn)完美的記憶提取。所以我同意你的看法，我認(rèn)為我們終將迎來這樣一個(gè)階段：這些AI系統(tǒng)不僅能進(jìn)行各種聯(lián)想、展開這類推理，還能真正受益于完美記憶提取這一基本能力 —— 而我們一直都默認(rèn)機(jī)器本該具備這種能力。

Scott Hanselman：如果這個(gè)問題的答案我本該知道，那請(qǐng)?jiān)徫业臒o知。不過，你對(duì)技術(shù)在醫(yī)療領(lǐng)域的濃厚興趣是從什么時(shí)候開始滲透到你所做的一切中的呢？最近這段時(shí)間，你總是希望通過技術(shù)讓人們的生活變得更好，這似乎又回到了醫(yī)療健康領(lǐng)域。難道你有醫(yī)療相關(guān)的背景，只是我還不知道？

Peter Lee：這其實(shí)純屬偶然，而且當(dāng)初差點(diǎn)就沒走上這條路。2010年我加入微軟時(shí)，為了進(jìn)入微軟研究院這個(gè)優(yōu)秀的機(jī)構(gòu)，能成為其中一員我深感自豪，后來一路晉升，做到了微軟全球研究院負(fù)責(zé)人的位置。到了2016年，Satya Nadella和當(dāng)時(shí)的首席技術(shù)官Harry Shum把我調(diào)離了研究院，讓我接手一個(gè)100人的“臭鼬工廠”團(tuán)隊(duì)，重新規(guī)劃微軟在醫(yī)療健康及相關(guān)技術(shù)領(lǐng)域的發(fā)展方向。這個(gè)調(diào)動(dòng)讓我深受打擊，甚至覺得自己是因?yàn)槭裁词率艿搅藨土P，還認(rèn)真考慮過辭職。畢竟我不僅毫無醫(yī)療健康領(lǐng)域的背景，而且……你要知道，在全球任何醫(yī)療機(jī)構(gòu)、任何診所里，幾乎都能看到微軟的產(chǎn)品。

我們的客戶遍布全球每一家醫(yī)療機(jī)構(gòu)。最小的客戶可能是肯尼亞內(nèi)羅畢的一家只有一名護(hù)士的診所，最大的則包括聯(lián)合健康集團(tuán)、凱撒醫(yī)療集團(tuán)等行業(yè)巨頭，以及介于兩者之間的所有機(jī)構(gòu)。這就意味著，微軟內(nèi)部大概有十幾位位高權(quán)重的企業(yè)副總裁，都在各自涉足醫(yī)療健康領(lǐng)域的業(yè)務(wù)。所以我當(dāng)時(shí)也在想，誰會(huì)聽Peter Lee的呢？事情就是這樣開始的。你得琢磨琢磨，我們?cè)撟鲂┦裁?？Satya當(dāng)時(shí)擔(dān)心的一點(diǎn)是，我們?cè)卺t(yī)療領(lǐng)域?qū)υ坪虯I的思考還不夠深入。所以我們首先想到的是，云能否用于存儲(chǔ)醫(yī)療記錄？我們很早就發(fā)現(xiàn)，不行，因?yàn)榇嬖诤弦?guī)性問題，而且我們當(dāng)時(shí)不支持某些數(shù)據(jù)標(biāo)準(zhǔn)。

不光是我們的云做不到，谷歌、亞馬遜等競(jìng)爭對(duì)手的云服務(wù)也做不到。不過這至少讓我們有了具體的事情可做，有了需要解決的問題。在這方面我們?nèi)〉昧撕芏噙M(jìn)展。我們還啟動(dòng)了第二個(gè)項(xiàng)目，是與Nuance公司以及匹茲堡大學(xué)醫(yī)學(xué)中心的Shiv Rao醫(yī)生合作的，項(xiàng)目名叫“Empower MD”（賦能醫(yī)生）。因?yàn)槲覀兞私獾?，醫(yī)生們?cè)诿看闻c患者溝通后，都得寫臨床筆記并錄入電子健康記錄系統(tǒng)，這讓他們不堪重負(fù)。于是我們想，或許可以用AI來聆聽對(duì)話，至少能自動(dòng)生成臨床筆記草稿。這個(gè)項(xiàng)目就是“Empower MD”，后來它的發(fā)展逐漸成熟，我們決定將其產(chǎn)品化，在此過程中還收購了Nuance公司。

對(duì)于匹茲堡大學(xué)醫(yī)學(xué)中心（UPMC）的Shiv Rao醫(yī)生，UPMC的風(fēng)險(xiǎn)投資部門UPMC Enterprises同意提供種子資金，支持他成立一家公司來做同樣的事情，這家公司就是Abridge。如今，該領(lǐng)域的兩大頂尖產(chǎn)品分別是微軟的DAX Copilot和Abridge的產(chǎn)品。我們就是這樣起步的。在大約五年的項(xiàng)目推進(jìn)過程中，我對(duì)這個(gè)領(lǐng)域有了深入的了解。我還成為了一所新醫(yī)學(xué)院 —— 凱撒醫(yī)療醫(yī)學(xué)院的創(chuàng)始董事會(huì)成員。新建醫(yī)學(xué)院需要設(shè)計(jì)課程體系，我因此有機(jī)會(huì)研究這些課程，至少在臨床前研究方面學(xué)到了不少知識(shí)，甚至還入選了美國國家醫(yī)學(xué)院。

后來到了2020年，我們的首席技術(shù)官Kevin Scott把我調(diào)回了研究院。我當(dāng)時(shí)想，太好了，終于可以脫離醫(yī)療領(lǐng)域，回到我真正熱愛的計(jì)算機(jī)科學(xué)基礎(chǔ)研究工作中了?？删驮谶@時(shí)，新冠疫情暴發(fā)了。所以微軟決定，“Peter，你是我們的醫(yī)療技術(shù)負(fù)責(zé)人，現(xiàn)在所有客戶和利益相關(guān)方都需要微軟的幫助來應(yīng)對(duì)疫情，所以你得負(fù)責(zé)協(xié)調(diào)這件事?！本瓦@樣，我又留在了醫(yī)療領(lǐng)域。我原以為這個(gè)任務(wù)在2020年夏天就能結(jié)束，可疫情的嚴(yán)重性遠(yuǎn)超預(yù)期。再后來，GPT-3.5和GPT-4問世，又出現(xiàn)了新的問題：這些技術(shù)是否適合投入使用？在醫(yī)療領(lǐng)域使用是否安全？而我自然而然成了牽頭解決這些問題的人。所以你可以說，我一直努力想脫離醫(yī)療領(lǐng)域，卻總被拉回來，但我對(duì)此并不反感。只是這一切都并非我計(jì)劃之中，想想也挺奇妙的。

Scott Hanselman：有些最好的職業(yè)不是計(jì)劃好的，我想這就是個(gè)很好的證明。

Peter Lee：我很慶幸當(dāng)初沒離開微軟。那樣的話，不知會(huì)……

Scott Hanselman：我想我們都很高興你沒有離開。那本來會(huì)是……要是當(dāng)時(shí)你覺得自己受了懲罰就立刻辭職，我們肯定會(huì)損失慘重。當(dāng)我們準(zhǔn)備結(jié)束時(shí)。

Peter Lee：我知道，這是因?yàn)镾atya Nadella是一位非常出色的領(lǐng)導(dǎo)者。但我覺得外界有些人可能不知道，他有時(shí)會(huì)讓大家去做一些極其困難的事，而這些事確實(shí)能推動(dòng)事業(yè)向前發(fā)展。

Scott Hanselman：確實(shí)如此。當(dāng)你被召喚去承擔(dān)責(zé)任時(shí)，要么挺身而出，要么退縮不前。很高興你選擇了挺身而出。我想說的是，眼看訪談就要結(jié)束了，現(xiàn)在差不多是三月中旬。在這期播客收尾之際，微軟研究院有哪些成果是我們應(yīng)該了解的？

Peter Lee：好的。我們?cè)趦蓚€(gè)領(lǐng)域做了很多特別的工作。一個(gè)是我們所說的AI for Science（人工智能助力科學(xué)研究）。就像我們發(fā)現(xiàn)，生成式AI架構(gòu)（比如Transformer和基于擴(kuò)散的模型）能夠如此高效地從人類的語言、思想和行為中學(xué)習(xí)一樣。所以，你可以用大量人類的文本輸出或文字成果作為語料，而模型從中學(xué)習(xí)到的東西是很驚人的。同樣地，對(duì)于世界中的圖像和視頻，這些相同的架構(gòu) —— 目前全球都在深入研究，也是微軟研究院重點(diǎn)投入的領(lǐng)域 —— 也適用于對(duì)自然現(xiàn)象的觀測(cè)。比如大氣風(fēng)型、蛋白質(zhì)與小分子的動(dòng)態(tài)變化，或是電解材料結(jié)構(gòu)中電子的運(yùn)動(dòng)。這確實(shí)令人難以置信。

這意味著，如果我們?cè)谶@些領(lǐng)域遵循同樣的 AI 規(guī)模化發(fā)展路徑，或許能實(shí)現(xiàn)諸如提前數(shù)周預(yù)測(cè)極端天氣事件、為已知藥物靶點(diǎn)設(shè)計(jì)藥物分子、識(shí)別病原體中的新藥物靶點(diǎn)，或是設(shè)計(jì)新型材料 —— 從固態(tài)電池到能讓素食更美味的酶，應(yīng)用范圍廣泛。因此，這種AI for Science（人工智能助力科學(xué)研究）是我們的一項(xiàng)重大展示成果，微軟研究院推出的一系列新模型已納入Azure Foundry平臺(tái)，同時(shí)相關(guān)成果也在材料科學(xué)、化學(xué)工程、物理學(xué)、氣候科學(xué)等領(lǐng)域的頂級(jí)學(xué)術(shù)期刊上發(fā)表。不過，有一個(gè)顯著的差異，也是阻礙我們?cè)谶@些領(lǐng)域發(fā)展的因素，那就是訓(xùn)練數(shù)據(jù)的獲取。

目前并沒有專門用于分子動(dòng)力學(xué)模擬的互聯(lián)網(wǎng)資源，所以問題在于：我們從哪里獲取訓(xùn)練數(shù)據(jù)？我們擁有計(jì)算基礎(chǔ)設(shè)施，但需要訓(xùn)練數(shù)據(jù)。而正在興起的第二個(gè)領(lǐng)域是量子計(jì)算。我認(rèn)為在2025年，我們將看到首批實(shí)用的可擴(kuò)展量子計(jì)算機(jī)。至少我和微軟的一些同事最期待的首個(gè)應(yīng)用，是利用它對(duì)這些自然現(xiàn)象進(jìn)行經(jīng)典精確模擬，從而生成大量標(biāo)記完美的訓(xùn)練數(shù)據(jù)。如果能做到這一點(diǎn)，我們就能真正擁有針對(duì)蛋白質(zhì)、材料、天氣模式的GPT-4或GPT-5，我覺得這將非常驚人。

Scott Hanselman：是啊。這樣一來，從研究到實(shí)際應(yīng)用的橋梁就搭建起來了，研究成果也就不會(huì)僅僅停留在理論層面。我很欣賞你們一邊發(fā)表論文，一邊在Foundry平臺(tái)上發(fā)布模型的做法。這讓我回想起我們整個(gè)對(duì)話的開頭 —— 過去30年里，每年都有人告訴我，糖尿病將在五年內(nèi)治愈。拿出實(shí)際成果來看看吧。拿出能切實(shí)發(fā)揮作用的東西來，比如能阻止人們?cè)邶埦盹L(fēng)中失去家園，或是能挽救膠質(zhì)母細(xì)胞瘤患者生命的技術(shù)。就是這類實(shí)實(shí)在在的成果。你說AI和這些模型會(huì)帶來好的改變。

Peter Lee：我嘗試解釋這點(diǎn)的方式是，在眾多科學(xué)領(lǐng)域，我們已經(jīng)達(dá)到了GPT-2水平的能力。唯一真正阻止我們達(dá)到GPT-3水平的就是足夠的訓(xùn)練語料獲取問題。所以一旦我們能夠解決這些問題，就能達(dá)到GPT-3級(jí)別的能力，甚至超越它。對(duì)于我們微軟，對(duì)于你我而言，Scott，GPT-3意義重大，因?yàn)樵诖笮驼Z言模型領(lǐng)域，GPT-3是我們首個(gè)能夠嘗試將其轉(zhuǎn)化為產(chǎn)品的階段。當(dāng)然，這也就催生了首款GitHub Copilot。

Scott Hanselman：沒錯(cuò)，這就像是曲棍球桿曲線的起點(diǎn)。一旦曲線開始上揚(yáng)，各種變化就會(huì)接踵而至。非常感謝Peter Lee博士今天和我們交流。我們由衷表示感謝。

Peter Lee：Scott，謝謝你的邀請(qǐng)。和你聊天真的很愉快。

https://learning.acm.org/bytecast/ep68-peter-lee

查看完整文章內(nèi)容

本文經(jīng)授權(quán)轉(zhuǎn)載自微信公眾號(hào)“ACM 計(jì)算機(jī)學(xué)會(huì)”，原標(biāo)題為《與微軟研究院負(fù)責(zé)人Peter Lee深度對(duì)話：從繞線板到大語言模型，技術(shù)如何改變?nèi)祟?？》?/p>

特 別 提 示

1. 進(jìn)入『返樸』微信公眾號(hào)底部菜單“精品專欄“，可查閱不同主題系列科普文章。

2. 『返樸』提供按月檢索文章功能。關(guān)注公眾號(hào)，回復(fù)四位數(shù)組成的年份+月份，如“1903”，可獲取2019年3月的文章索引，以此類推。