幾乎每一門(mén)編程語(yǔ)言，都有一個(gè)數(shù)據(jù)類(lèi)型叫做Boolean，它只有兩個(gè)值：真和假。

這是為了紀(jì)念發(fā)明布爾代數(shù)的數(shù)學(xué)家喬治·布爾。

喬治·布爾英年早逝，他絕對(duì)想不到，他的小女兒艾捷爾·麗蓮·伏尼契寫(xiě)了一本著名的小說(shuō)《牛虻》。

他更不可能想到，他還有一位玄孫：Geoffrey E. Hinton（辛頓），將家族的榮耀推向了巔峰，辛頓不但成了深度學(xué)習(xí)之父，還獲得了圖靈獎(jiǎng)和諾貝爾獎(jiǎng)。

0 1

算法的積累

辛頓出生于1947年，先在劍橋大學(xué)獲得了實(shí)驗(yàn)心理學(xué)學(xué)士，然后跑到愛(ài)丁堡大學(xué)拿到了博士學(xué)位，他的論文是《放松及其在視覺(jué)中的作用》。

這聽(tīng)起來(lái)和計(jì)算機(jī)毫無(wú)關(guān)系，辛頓為啥會(huì)進(jìn)入到人工智能領(lǐng)域呢？

因?yàn)楫?dāng)時(shí)的人工智能和計(jì)算機(jī)科學(xué)、心理學(xué)和神經(jīng)科學(xué)“糾纏不清”，每個(gè)學(xué)科都試圖按照自己的領(lǐng)域來(lái)描繪技術(shù)的前景。

比如早在1958年，在海軍的資助下，康奈爾大學(xué)教授弗蘭克·羅森布拉特發(fā)明了一個(gè)模仿人腦的數(shù)學(xué)系統(tǒng)：感知機(jī)。

感知機(jī)有 400 個(gè)光傳感器，它們一起充當(dāng)視網(wǎng)膜，將信息傳送給大約 1,000 個(gè)“神經(jīng)元”，這些神經(jīng)元進(jìn)行處理并產(chǎn)生單一輸出。

用一系列的打孔卡訓(xùn)練以后，感知機(jī)居然自己學(xué)會(huì)了識(shí)別卡片上的標(biāo)記是在左側(cè)還是右側(cè)，這事兒轟動(dòng)一時(shí)，媒體甚至報(bào)道“海軍設(shè)計(jì)了一個(gè)會(huì)思考的科學(xué)怪物”！

我們現(xiàn)在知道，這就是第一個(gè)神經(jīng)網(wǎng)絡(luò)。

不過(guò)，這個(gè)神經(jīng)網(wǎng)絡(luò)只有一層自適應(yīng)的權(quán)重，想要完成復(fù)雜的任務(wù)，需要建立一個(gè)多層的，每一層都向下一層提供信息，這樣就可以學(xué)習(xí)感知機(jī)無(wú)法學(xué)習(xí)的復(fù)雜圖形。

但是研究人員找不到很好的方法來(lái)訓(xùn)練它們，人工智能進(jìn)入了第一個(gè)寒冬。

1978年，辛頓來(lái)到加州大學(xué)圣地亞哥分校做博士后研究，在這里他和David Rumelhart和Ronald Williams合作，重新“發(fā)現(xiàn)”了用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的反向傳播算法，特別是證明了該算法可以使多層神經(jīng)網(wǎng)絡(luò)調(diào)整自身的權(quán)重，從而學(xué)習(xí)多層特征，完成語(yǔ)言和視覺(jué)的任務(wù)。

這是一個(gè)極其重要的突破，反向傳播成為當(dāng)今深度學(xué)習(xí)的基礎(chǔ)。

1987年，出于對(duì)里根政府的不滿(mǎn)，辛頓來(lái)到了加拿大，加入了多倫多大學(xué)。

雖然辛頓遠(yuǎn)離了傳統(tǒng)的人工智能中心，但是牛人在哪里，哪里就是中心。

辛頓培養(yǎng)了很多著名的學(xué)生，其中一位就是來(lái)自法國(guó)的博士后楊立昆。

楊立昆把反向傳播算法應(yīng)用到了卷積神經(jīng)網(wǎng)絡(luò)（CNN）上，他開(kāi)發(fā)的LeNet在識(shí)別手寫(xiě)數(shù)字方面非常出色，在當(dāng)時(shí)的技術(shù)條件下就能取得低于1%的錯(cuò)誤率。

LeNet后來(lái)成功商業(yè)化，被金融用來(lái)識(shí)別支票上的數(shù)字。

2019年，楊立昆和辛頓一起獲得了計(jì)算機(jī)界最高獎(jiǎng)：圖靈獎(jiǎng)。

雖然卷積神經(jīng)網(wǎng)絡(luò)在識(shí)別數(shù)字方面表現(xiàn)優(yōu)秀，但是在處理圖像方面就力不從心了，因?yàn)閳D像識(shí)別需要更多、更深的網(wǎng)絡(luò)隱藏層，當(dāng)時(shí)計(jì)算機(jī)的計(jì)算能力是遠(yuǎn)遠(yuǎn)不夠的。

神經(jīng)網(wǎng)絡(luò)還需要人工智能之外的兩項(xiàng)技術(shù)來(lái)鋪平道路：

1.大量的訓(xùn)練數(shù)據(jù)

2.足夠的算力。神經(jīng)網(wǎng)絡(luò)訓(xùn)練涉及大量重復(fù)的矩陣乘法，最好是并行完成。

0 2

數(shù)據(jù)和算力

在過(guò)去的20年，一切都發(fā)生了重大變化。

互聯(lián)網(wǎng)蓬勃發(fā)展，數(shù)據(jù)變得無(wú)處不在，尤其是智能手機(jī)的出現(xiàn)，讓文本、圖像、視頻變得唾手可得。

而算力的解決竟然來(lái)自于游戲行業(yè)，游戲中的圖像渲染需要繁重的處理，Nvidia 等公司 開(kāi)發(fā)了圖形處理單元 ( GPU)芯片，游戲開(kāi)發(fā)人員使用 GPU進(jìn)行復(fù)雜的著色和幾何變換。

那些渴望強(qiáng)大計(jì)算能力的計(jì)算機(jī)科學(xué)家立刻意識(shí)到，他們可以“欺騙”GPU 執(zhí)行其他任務(wù)，例如訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

Nvidia 注意到了這一趨勢(shì)，它創(chuàng)建了CUDA，讓研究人員可以輕松使用GPU進(jìn)行通用數(shù)據(jù)處理。

從 2006 年開(kāi)始，李飛飛計(jì)劃建立一個(gè)圖像數(shù)據(jù)集，涵蓋英語(yǔ)中所有名詞，用于訓(xùn)練人工智能。

她和她的研究生開(kāi)始在互聯(lián)網(wǎng)上收集圖像，并使用WordNet對(duì)它們進(jìn)行分類(lèi)。

由于任務(wù)極其艱巨，李飛飛和她的合作者最終使用亞馬遜的 Mechanical Turk 平臺(tái)將標(biāo)記圖像的任務(wù)眾包給了零工。

2009 年ImageNet正式完工，比之前的任何圖像數(shù)據(jù)集都大幾個(gè)數(shù)量級(jí)。

李飛飛希望它的出現(xiàn)能幫助AI實(shí)現(xiàn)新的突破，并于 2010 年發(fā)起了一場(chǎng)競(jìng)賽，激勵(lì)研究團(tuán)隊(duì)改進(jìn)他們的圖像識(shí)別算法。

現(xiàn)在我們有了神經(jīng)網(wǎng)絡(luò)和算法，訓(xùn)練數(shù)據(jù)集，以及GPU算力，就差一個(gè)人把它們都結(jié)合起來(lái)，震撼世界了。

0 3

AlexNet

當(dāng)辛頓的博士生Ilya Sutskever 看到ImageNet時(shí)，立刻想起了Alex Krizhevsky。

（左護(hù)法Illya，右護(hù)法Alex)

Alex是一位GPU編程大師，擅長(zhǎng)從一個(gè)裝有GPU的電腦中壓榨出最后一點(diǎn)性能。

Ilya說(shuō)服Alex，開(kāi)始一個(gè)新項(xiàng)目，針對(duì)ImageNet訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，參加ImageNet訓(xùn)練。

辛頓也加入了這個(gè)項(xiàng)目，擔(dān)任首席研究員。

Alex和自己的父母住在一起，他用自己臥室的一臺(tái)電腦來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，電腦上只有兩張Nvidia 顯卡。

在一年的時(shí)間內(nèi)，Alex不斷地調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)，重新進(jìn)行訓(xùn)練，直到2012年，這個(gè)名叫AlexNet的神經(jīng)網(wǎng)絡(luò)在競(jìng)賽中以15%的錯(cuò)誤率大幅領(lǐng)先第二名的26%，以壓倒性的優(yōu)勢(shì)贏得競(jìng)賽，一鳴驚人。

看到AlexNet的論文，紐約大學(xué)楊立昆實(shí)驗(yàn)室的學(xué)生們感受到了巨大的失落和遺憾。

因?yàn)锳lexNet使用卷積神經(jīng)網(wǎng)絡(luò)，正是楊立昆80年代最拿手的工作。

經(jīng)過(guò)30年的奮斗，他們跌跌撞撞地走到了最后一關(guān)，卻眼看著別人破門(mén)而入。

楊立昆在當(dāng)晚討論AlexNet論文的時(shí)候，說(shuō)到：“多倫多大學(xué)的學(xué)生比紐約大學(xué)的學(xué)生行動(dòng)更快?！?

當(dāng)其他資深研究員對(duì)AlexNet存在懷疑，認(rèn)為它無(wú)法應(yīng)用到真實(shí)世界的數(shù)據(jù)集上時(shí)，楊立昆旗幟鮮明地支持了自己老師的項(xiàng)目：這就是人工智能的轉(zhuǎn)折點(diǎn)！

楊立昆是對(duì)的，隨后幾年的ImageNet競(jìng)賽中，幾乎每個(gè)項(xiàng)目都使用了神經(jīng)網(wǎng)絡(luò)，到2017年許多參賽者的錯(cuò)誤率已經(jīng)降至5%，主辦方隨即結(jié)束了競(jìng)賽。

神經(jīng)網(wǎng)絡(luò)在接下來(lái)的十年迅速發(fā)展，AlphaGo擊敗了圍棋世界冠軍，AI可以合成逼真的語(yǔ)音，創(chuàng)建圖像。

最終，Ilya Sutskever共同創(chuàng)辦的公司OpenAI發(fā)布了ChatGPT。

AlexNet是點(diǎn)燃深度學(xué)習(xí)的燎原之火，它不但開(kāi)啟了技術(shù)革新，還促進(jìn)了產(chǎn)業(yè)重構(gòu)，甚至引發(fā)了社會(huì)變革，開(kāi)啟人類(lèi)深度科技化，說(shuō)它是改變?nèi)祟?lèi)命運(yùn)的軟件是不為過(guò)的。

0 4

結(jié)語(yǔ)

百度認(rèn)識(shí)到了AlexNet的潛力，微軟，Google也認(rèn)識(shí)到了，電子郵件紛至沓來(lái)，他們都力邀辛頓團(tuán)隊(duì)加盟，百度甚至為三人開(kāi)出了1200萬(wàn)美元的超高價(jià)碼。

但是Ilya和Alex主張成立一個(gè)公司，辛頓采納了學(xué)生的意見(jiàn)，創(chuàng)建了DNNresearch公司，以對(duì)外拍賣(mài)的方式來(lái)實(shí)現(xiàn)價(jià)值最大化。

經(jīng)過(guò)激烈的競(jìng)爭(zhēng)，Google以4400萬(wàn)美元的價(jià)格，將這個(gè)只有三名員工、沒(méi)有產(chǎn)品也沒(méi)有歷史的初創(chuàng)公司收入囊中，百度錯(cuò)失了AI教父辛頓。

辛頓堅(jiān)持三人平分這筆錢(qián)，但是Ilya和Alex堅(jiān)持老師應(yīng)該拿到更大的份額：40%。辛頓說(shuō)：“這體現(xiàn)了他們是什么樣的人，但沒(méi)有體現(xiàn)出我是什么樣的人。”

2020年，美國(guó)的計(jì)算機(jī)歷史博物館和Google聯(lián)系，想收錄Alex這個(gè)改變?nèi)祟?lèi)世界的軟件，經(jīng)過(guò)5年的協(xié)商，原汁原味的AlexNet終于在GitHub上開(kāi)源發(fā)布：

縱觀(guān)AlexNet的出現(xiàn)過(guò)程，真是一代又一代人的不斷努力，不斷接力的結(jié)果。如果辛頓的團(tuán)隊(duì)沒(méi)做出來(lái)，楊立昆的團(tuán)隊(duì)，或者別的團(tuán)隊(duì)也能完成臨門(mén)一腳，在當(dāng)時(shí)的條件下，真是萬(wàn)事俱備，只欠東風(fēng)了。

至于AlexNet開(kāi)啟的道路是不是通向通用人工智能之路，我們只有拭目以待了。

全文完，如果覺(jué)得不錯(cuò)的話(huà)點(diǎn)個(gè)贊或者在看吧。