醫(yī)學(xué)數(shù)據(jù)的深度學(xué)習(xí)

Deep Learning for Medical Data

摘要
本論文重新審視深度學(xué)習(xí)的基本組成要素，并評估其在醫(yī)學(xué)圖像分析領(lǐng)域的應(yīng)用現(xiàn)狀。論文指出深度學(xué)習(xí)在此領(lǐng)域存在的三大主要挑戰(zhàn)：專家知識的整合、未標(biāo)注數(shù)據(jù)的利用，以及預(yù)測不確定性的估計(jì)。全文據(jù)此分為三個(gè)部分，分別對應(yīng)上述挑戰(zhàn)予以解決。

第一部分提出一種新型深度學(xué)習(xí)模型，通過引入旋轉(zhuǎn)-反射等變性（roto-reflective equivariance）將專家知識嵌入模型，從而提升醫(yī)學(xué)成像任務(wù)（尤其是組織病理切片中轉(zhuǎn)移性組織檢測）的準(zhǔn)確性與魯棒性。該模型優(yōu)于傳統(tǒng)CNN架構(gòu)，并在輸入擾動下展現(xiàn)出強(qiáng)穩(wěn)健性。隨后，論文提出PCam數(shù)據(jù)集——源自Camelyon16挑戰(zhàn)賽——旨在推動深度學(xué)習(xí)社區(qū)關(guān)注真實(shí)醫(yī)學(xué)問題。PCam的結(jié)構(gòu)設(shè)計(jì)貼近通用深度學(xué)習(xí)基準(zhǔn)，實(shí)驗(yàn)證明在該數(shù)據(jù)集上的性能提升可有效遷移到更大的Camelyon16基準(zhǔn)上。

第二部分探討自監(jiān)督表征學(xué)習(xí)的潛力，基于對比預(yù)測編碼（CPC）方法，并進(jìn)一步提出對比擾動預(yù)測編碼（C2PC），通過引入針對醫(yī)學(xué)圖像特性的增強(qiáng)策略，顯著提升了CPC的性能。

第三部分聚焦于高風(fēng)險(xiǎn)醫(yī)學(xué)決策中至關(guān)重要的預(yù)測不確定性估計(jì)問題，提出一種新穎的變分推斷方法：該方法在量化隱變量上構(gòu)建多項(xiàng)分布，在不確定性估計(jì)與風(fēng)險(xiǎn)評估方面展現(xiàn)出與現(xiàn)有方法相比具有競爭力的性能。

論文結(jié)論指出：通過應(yīng)對上述三大挑戰(zhàn)，深度學(xué)習(xí)可更有效地適配醫(yī)學(xué)影像任務(wù)——具體而言，專家知識可被高效整合進(jìn)深度學(xué)習(xí)模型；借助自監(jiān)督學(xué)習(xí)利用未標(biāo)注數(shù)據(jù)可顯著提升模型性能；而采用更靈活的變分推斷方法可改善預(yù)測不確定性估計(jì)。

引 言
1.1 研究動因

1.1.1 醫(yī)學(xué)決策

準(zhǔn)確診斷疾病并確定最有效的治療方案，是貫穿人類歷史的一項(xiàng)持久挑戰(zhàn)。在古代，疑難病例常被歸因于超自然力量；惡魔與神意干預(yù)成為當(dāng)時(shí)社會對疾病的萬能解釋，治療也據(jù)此展開。此后，人類不斷進(jìn)步，科學(xué)方法最終在醫(yī)學(xué)中占據(jù)主導(dǎo)地位。憑借日益豐富的科學(xué)知識體系、對干預(yù)措施設(shè)定的高標(biāo)準(zhǔn)循證要求，以及多樣化的現(xiàn)代診斷工具，醫(yī)生如今得以以前所未有的方式做出有據(jù)可循的治療決策。

然而，疾病診斷與療效預(yù)測遠(yuǎn)非“火箭科學(xué)”可比——其復(fù)雜性遠(yuǎn)超后者。這一挑戰(zhàn)源于：不確定性籠罩醫(yī)學(xué)決策的方方面面。盡管我們已建立起對引力與火箭發(fā)動機(jī)較為可靠的確定性模型，人類身體卻仍未被完全理解——時(shí)至今日，仍有新器官被發(fā)現(xiàn)，并對治療產(chǎn)生深遠(yuǎn)影響（Benias 等，2018；Valstar 等，2021）。關(guān)于檢測與治療效果的科學(xué)證據(jù)不僅稀疏，且偏向特定人群；干預(yù)研究常受“幸存者偏差”困擾——出于對隨機(jī)對照試驗(yàn)（RCT）合理性的追求，易導(dǎo)致雙盲研究友好的療法更易被研究，而真正復(fù)雜的干預(yù)則被忽視。人類個(gè)體的異質(zhì)性進(jìn)一步加劇了問題的復(fù)雜性；與此同時(shí)，許多診斷工具本身伴隨著患者痛苦與高昂費(fèi)用。此外，醫(yī)學(xué)領(lǐng)域日新月異——昔日被譽(yù)為現(xiàn)代治療巔峰的干預(yù)手段，如今亦不斷受到質(zhì)疑（Maron 等，2020；Perera 等，2022）。在此迷霧般的不確定性中做出決策，或許需要超越凡人手動所能駕馭的智能水平。

1.1.2 醫(yī)學(xué)影像

現(xiàn)代醫(yī)學(xué)影像技術(shù)的興起進(jìn)一步加劇了這一挑戰(zhàn)。X光、超聲，以及后來的計(jì)算機(jī)斷層掃描（CT）、磁共振成像（MRI），加之組織病理學(xué)數(shù)字化的進(jìn)步，使臨床醫(yī)生得以獲取患者日益海量的信息。結(jié)果是，醫(yī)生面臨數(shù)據(jù)過載，需處理巨量信息以完成診斷與預(yù)后預(yù)測。處理這些技術(shù)生成的陌生圖像被證明極其復(fù)雜，以至于催生了放射科醫(yī)師與病理科醫(yī)師等專門職業(yè)——他們負(fù)責(zé)評估影像數(shù)據(jù)并轉(zhuǎn)化為可操作的臨床建議。然而，這些專家承擔(dān)的許多任務(wù)恰恰是人類天然不擅長的：常常如“大海撈針”般在海量數(shù)據(jù)中搜尋微小病灶，遠(yuǎn)離與患者的直接互動，持續(xù)聚焦于密集數(shù)據(jù)流以識別異常并評估風(fēng)險(xiǎn)。為標(biāo)準(zhǔn)化判斷，專家們依賴主觀評分體系（如 Gleason 評分；Gleason & Tannenbaum, 1977；Gleason, 1992），其對治療侵入性具有重大影響，卻表現(xiàn)出驚人的評分者間高變異性（Ozkan 等，2016）。此外，決策過程中引入更多人力，本身即帶來溝通與交接方面的挑戰(zhàn)；而一旦診斷完成，專家建議與真實(shí)治療結(jié)局之間往往缺乏反饋閉環(huán)。

正因如此，計(jì)算機(jī)輔助診斷（CAD）展現(xiàn)出巨大潛力：計(jì)算機(jī)擁有無限能量與無盡專注力；尤為值得一提的是，它們從不會宿醉上崗。軟件具備可復(fù)制性，且可持續(xù)迭代優(yōu)化；錯誤行為可被精確復(fù)現(xiàn)、深入研究并修正；反饋閉環(huán)可跨越數(shù)月，將治療結(jié)局回傳作為早期識別模型的指導(dǎo)信號——這為改進(jìn)醫(yī)學(xué)決策提供了一條極具前景的路徑。

盡管醫(yī)學(xué)診斷過程包含諸多環(huán)節(jié)，全面覆蓋整個(gè)流程仍極具挑戰(zhàn)。本論文聚焦于其中關(guān)鍵一環(huán)：基于醫(yī)學(xué)影像解讀的計(jì)算機(jī)輔助診斷。這是邁向構(gòu)建全面系統(tǒng)的重要一步——該系統(tǒng)可整合醫(yī)學(xué)診斷全流程的各類信息，并在過程中提供決策支持。

1.1.3 計(jì)算機(jī)輔助診斷

將醫(yī)學(xué)影像分析領(lǐng)域的專業(yè)知識提煉為算法，已被證明困難重重。盡管無數(shù)博士投身此道，試圖依據(jù)歷經(jīng)數(shù)世紀(jì)錘煉的直覺與理論推導(dǎo)出診斷規(guī)則，結(jié)果卻近乎不可能實(shí)現(xiàn)。幸運(yùn)的是，機(jī)器學(xué)習(xí)為僵化的規(guī)則建模提供了替代路徑：該領(lǐng)域已有成熟方法，可通過專家標(biāo)注的示例自動學(xué)習(xí)模型，旨在捕捉標(biāo)注背后的潛在原理。然而，醫(yī)學(xué)影像數(shù)據(jù)體量龐大、信息稠密，傳統(tǒng)機(jī)器學(xué)習(xí)方法依賴人工設(shè)計(jì)的特征提取器，將原始數(shù)據(jù)轉(zhuǎn)化為算法可處理的數(shù)值表示。而這一特征工程本身，其難度幾乎不亞于從零開始設(shè)計(jì)規(guī)則。

1.1.4 深度學(xué)習(xí)

正因如此，深度學(xué)習(xí)的出現(xiàn)為醫(yī)學(xué)影像分析領(lǐng)域帶來了翻天覆地的變革。通過結(jié)合大規(guī)模隨機(jī)初始化的特征提取器與隨機(jī)梯度下降法在搜索空間中優(yōu)化，機(jī)器學(xué)習(xí)模型如今可直接在原始稠密影像上進(jìn)行訓(xùn)練。該范式因 2012 年 ImageNet 挑戰(zhàn)賽中深度學(xué)習(xí)大幅超越傳統(tǒng)方法而廣為人知；自此，絕大多數(shù)醫(yī)學(xué)影像分析研究社群均已轉(zhuǎn)向深度學(xué)習(xí)作為主導(dǎo)范式。

深度學(xué)習(xí)在醫(yī)學(xué)影像分析中的有效性，激發(fā)了人們對未來的樂觀愿景：模型可基于全球數(shù)據(jù)訓(xùn)練，而非依賴專家在有限學(xué)術(shù)醫(yī)院數(shù)據(jù)集上手工構(gòu)建的模型——后者僅覆蓋全球人群的局部子集；模型可在初診數(shù)月后從錯誤中學(xué)習(xí)，形成人類專家實(shí)踐中罕見的反饋閉環(huán)；盡管常被視為“黑箱”，但一支類似空難調(diào)查員的專家團(tuán)隊(duì)可精確復(fù)現(xiàn)模型出錯時(shí)的狀態(tài)，并借助各類工具進(jìn)行內(nèi)省分析，指導(dǎo)未來如何規(guī)避同類錯誤；此外，深度學(xué)習(xí)模型可自由復(fù)制，使專業(yè)知識得以全球普及——為原本資源匱乏的地區(qū)帶來高質(zhì)量醫(yī)學(xué)洞見。

深度學(xué)習(xí)模型有望變革初級醫(yī)療服務(wù)模式：通過消除對?？茖＜业囊蕾?，使基層醫(yī)生能直接將醫(yī)學(xué)影像轉(zhuǎn)化為可操作洞見，從而減輕溝通負(fù)擔(dān)，減少交接失誤；最后，當(dāng)新型疾病威脅全球時(shí)，這些模型可被快速更新以納入新診斷標(biāo)準(zhǔn)，實(shí)現(xiàn)對全球公共衛(wèi)生危機(jī)的靈活響應(yīng)。

1.1.5 重新審視醫(yī)學(xué)影像分析中的深度學(xué)習(xí)

盡管成效卓著，深度學(xué)習(xí)的發(fā)展本質(zhì)上是經(jīng)驗(yàn)性的——有人甚至戲稱為“煉金術(shù)”——其仍缺乏堅(jiān)實(shí)的第一性原理（first-principle）理論支撐。盡管這一路徑已帶來巨大成功，但驅(qū)動其逐年進(jìn)步的主流基準(zhǔn)（如自然圖像中的單目標(biāo)分類）與醫(yī)學(xué)影像分析的實(shí)際問題存在顯著差異：后者更關(guān)注分類準(zhǔn)確率，卻忽略了醫(yī)學(xué)場景的諸多細(xì)微特性。這并非否定深度學(xué)習(xí)在該領(lǐng)域的價(jià)值——它確已在若干重要醫(yī)學(xué)影像基準(zhǔn)上取得重大突破（Litjens 等，2017a）：例如，Gulshan 等（2016）展示了可媲美認(rèn)證眼科醫(yī)師團(tuán)隊(duì)的糖尿病視網(wǎng)膜病變檢測模型；Esteva 等（2017）實(shí)現(xiàn)了接近人類專家水平的皮膚癌分類；Wang 等（2016）在前哨淋巴結(jié)活檢組織病理全切片圖像中識別轉(zhuǎn)移性乳腺癌方面展現(xiàn)了強(qiáng)大性能。

然而，對于醫(yī)學(xué)決策這般敏感的任務(wù)，深度學(xué)習(xí)模型的失效模式絕不可忽視（Zhang 等，2016；Litjens 等，2017a）：數(shù)據(jù)偏差、類別不平衡、決策缺乏可解釋性與可闡釋性、對輸入模態(tài)擾動的脆弱性、以及對標(biāo)注分歧的高度敏感等問題，在醫(yī)學(xué)領(lǐng)域需被審慎對待。因此，有必要以醫(yī)學(xué)影像分析為透鏡，重新審視深度學(xué)習(xí)領(lǐng)域的“常識”現(xiàn)狀，以期發(fā)現(xiàn)進(jìn)一步提升空間，并修正既有缺陷。

1.2 研究框架

本論文以醫(yī)學(xué)影像分析為應(yīng)用場景，對深度學(xué)習(xí)工具箱進(jìn)行重新審視，并識別出亟待深入研究的三大主題：
（1）專家知識（如建模約束）；
（2）不確定性建模與校準(zhǔn)預(yù)測；
（3）海量未標(biāo)注醫(yī)學(xué)影像數(shù)據(jù)的有效利用。

這三大主題構(gòu)成了本論文的核心基礎(chǔ)：

• 在第部分，我們研究如何將專家知識融入深度神經(jīng)網(wǎng)絡(luò)；
• 在第部分，我們探究概率建模方法，以提升不確定性估計(jì)的校準(zhǔn)性，從而輔助基于深度學(xué)習(xí)模型的臨床決策；
• 在第部分，我們研究深度學(xué)習(xí)模型如何從未標(biāo)注數(shù)據(jù)中學(xué)習(xí)，以增強(qiáng)規(guī)模有限的標(biāo)注數(shù)據(jù)集。

貫穿全文，我們圍繞以下研究問題展開探討：

研究問題 1：在大規(guī)模醫(yī)學(xué)場景中，旋轉(zhuǎn)-反射等變性（roto-reflective equivariance）能否提升深度學(xué)習(xí)模型的準(zhǔn)確性與魯棒性？

深度學(xué)習(xí)研究多集中于自然圖像領(lǐng)域，其中圖像具有標(biāo)準(zhǔn)朝向（天空總在上方）。而醫(yī)學(xué)圖像，尤其是組織病理學(xué)圖像，并不具備此類天然朝向先驗(yàn)。我們的主要貢獻(xiàn)在于：在大規(guī)模真實(shí)世界組織病理學(xué)基準(zhǔn)任務(wù)上，評估 Cohen 與 Welling（2016）提出的群等變模型（group equivariant models）的應(yīng)用效果。盡管學(xué)界推測此類等變性可提升性能，但尚缺乏實(shí)證支持；另有觀點(diǎn)認(rèn)為，減少參數(shù)共享反而更有利于模型自主學(xué)習(xí)。因此，我們旨在探究：在真實(shí)大規(guī)模醫(yī)學(xué)影像場景中，通過群卷積神經(jīng)網(wǎng)絡(luò)（GCNN）框架顯式引入旋轉(zhuǎn)與鏡像對稱性，是否能提高深度學(xué)習(xí)模型的樣本效率（sample efficiency）。

研究問題 2：如何激勵深度學(xué)習(xí)研究社區(qū)將模型優(yōu)化聚焦于真實(shí)世界的醫(yī)學(xué)問題？

基于前一問題的研究經(jīng)驗(yàn)，我們進(jìn)一步構(gòu)建一個(gè)契合深度學(xué)習(xí)研究范式的醫(yī)學(xué)影像基準(zhǔn)數(shù)據(jù)集，使研究者與實(shí)踐者得以在具有現(xiàn)實(shí)臨床意義、且與實(shí)際影響高度相關(guān)的衍生任務(wù)上，便捷地驗(yàn)證新方法的有效性。

研究問題 3：醫(yī)學(xué)影像深度學(xué)習(xí)模型能否從對比預(yù)測編碼（Contrastive Predictive Coding, CPC）中受益，以實(shí)現(xiàn)自監(jiān)督表征學(xué)習(xí)？

醫(yī)學(xué)影像數(shù)據(jù)本身并不稀缺——全球醫(yī)院每日都在生成海量圖像，并通過稱為 PACS（影像歸檔與通信系統(tǒng)）的集中式存儲平臺進(jìn)行管理；現(xiàn)代化教學(xué)醫(yī)院甚至已配備自動化數(shù)據(jù)處理流程。真正的瓶頸在于專家標(biāo)注的獲取：該過程成本高昂，通常需多位“金標(biāo)準(zhǔn)”專家對單張圖像獨(dú)立判讀并達(dá)成共識。因此，利用未標(biāo)注數(shù)據(jù)成為該領(lǐng)域極具前景的方向——因標(biāo)注數(shù)據(jù)與未標(biāo)注數(shù)據(jù)之比極度失衡。在本論文第二部分，我們探索一種新穎的無監(jiān)督表征學(xué)習(xí)技術(shù)，旨在使深度學(xué)習(xí)模型的主體部分無需下游任務(wù)標(biāo)簽即可完成訓(xùn)練，從而提升標(biāo)簽效率（label efficiency）。

研究問題 4：能否在不依賴端到端反向傳播（end-to-end backpropagation）的情況下，高效優(yōu)化深度學(xué)習(xí)模型？延續(xù)未標(biāo)注數(shù)據(jù)這一主題，我們進(jìn)一步探究：無監(jiān)督訓(xùn)練是否可采用貪心式（greedy）策略——即逐層訓(xùn)練神經(jīng)網(wǎng)絡(luò)，而無需對整個(gè)網(wǎng)絡(luò)進(jìn)行反向傳播。此類訓(xùn)練方式對醫(yī)學(xué)影像神經(jīng)網(wǎng)絡(luò)尤為值得關(guān)注：首先，無監(jiān)督訓(xùn)練顯著減輕了醫(yī)學(xué)專家的標(biāo)注負(fù)擔(dān)；其次，單層訓(xùn)練所需的內(nèi)存相比全網(wǎng)絡(luò)訓(xùn)練低若干數(shù)量級；最后，模型可在大型醫(yī)學(xué)影像的局部裁剪塊（small crops）上訓(xùn)練，這對處理 3D 或 4D 醫(yī)學(xué)數(shù)據(jù)尤為關(guān)鍵且高效。

研究問題 5：隱變量量化（latent variable quantization）能否提升深度隱變量模型中的置信度評分質(zhì)量？醫(yī)學(xué)決策高度依賴對預(yù)測結(jié)果置信度的準(zhǔn)確評估。由于深度學(xué)習(xí)模型易表現(xiàn)出過度自信（overconfidence），研究能更精準(zhǔn)刻畫不確定性的模型對醫(yī)學(xué)影像分析至關(guān)重要。在本論文第三部分，我們聚焦于深度隱變量模型中的變分推斷框架——一類概率性深度學(xué)習(xí)模型——檢驗(yàn)一個(gè)常被假設(shè)但鮮有實(shí)證的觀點(diǎn)：變分后驗(yàn)分布的靈活性提升將帶來性能改善。為此，我們引入一種高度靈活的平均場后驗(yàn)分布（mean-field posterior），其核心在于對隱空間進(jìn)行量化。

在正文章節(jié)深入探討上述研究問題之前，我們將在下一節(jié)簡要介紹相關(guān)符號約定與深度學(xué)習(xí)的核心原理；最后，第 7 章將對全文進(jìn)行總結(jié)，并展望未來研究方向。

1.3 符號說明
本文通篇采用下表所示的符號約定。

1.4.1 數(shù)據(jù)

我們從考慮數(shù)據(jù)開始。理想情況下，我們已收集到一個(gè)由獨(dú)立同分布（i.i.d.）樣本點(diǎn)x構(gòu)成的大型數(shù)據(jù)集。每個(gè)樣本點(diǎn)可能附帶一個(gè)我們希望預(yù)測的標(biāo)簽y。這構(gòu)成一個(gè)包含 n 個(gè)樣本的數(shù)據(jù)集 ：{(x?, y?) | 0 ≤ i ≤ n}。我們將該數(shù)據(jù)集劃分為三部分：一部分用于在訓(xùn)練集 ????? 上優(yōu)化模型，一部分用于在驗(yàn)證集 ???? 上跟蹤并調(diào)優(yōu)訓(xùn)練過程中的性能，最后一部分用于在未見過的數(shù)據(jù)集 ???? 上評估模型的預(yù)期表現(xiàn)。這種劃分確保了我們的模型能夠泛化至問題本身，而非過度擬合訓(xùn)練數(shù)據(jù)。

1.4.2 模型

深度學(xué)習(xí)模型本質(zhì)上是一個(gè)參數(shù)化的數(shù)學(xué)函數(shù)，它接收數(shù)據(jù)空間中的樣本，并將其映射到標(biāo)簽空間：f: ?? → ??。通常，該函數(shù)形式為交替進(jìn)行的線性變換后接標(biāo)量非線性函數(shù)（或稱激活函數(shù)）：f_θ(x) = W3h(W2h(W1x))。此函數(shù)被稱為“神經(jīng)網(wǎng)絡(luò)”，因其結(jié)構(gòu)大致受到大腦中連接神經(jīng)元層的啟發(fā)。參數(shù)或權(quán)重 θ: {W?} 是我們需要調(diào)整以尋找最優(yōu)模型的“旋鈕”。

1.4.3 優(yōu)化

我們通過交替估計(jì)模型在訓(xùn)練數(shù)據(jù)上產(chǎn)生的誤差，并利用導(dǎo)數(shù)對參數(shù)做微小調(diào)整以降低該誤差，來優(yōu)化函數(shù) f 的參數(shù)。這就是梯度下降（Gradient Descent）的核心思想，其工作原理如下：我們定義一個(gè)標(biāo)量誤差函數(shù)（常稱為損失函數(shù)）?: {X, Y, W} → ?。為了改進(jìn)模型，我們計(jì)算每個(gè)參數(shù)的偏導(dǎo)數(shù) ?? = d?/dW???。然后，我們沿最陡下降方向?qū)γ總€(gè)參數(shù)進(jìn)行小幅更新：

其中步長（即學(xué)習(xí)率）為 η。我們通過從訓(xùn)練數(shù)據(jù)中抽取小規(guī)模、半隨機(jī)的子集（稱為小批量，mini-batches）來執(zhí)行該算法。實(shí)踐表明，這種做法可提升模型泛化能力，并降低計(jì)算開銷。我們將這種分步優(yōu)化方式稱為隨機(jī)梯度下降（Stochastic Gradient Descent, SGD），以區(qū)別于使用全部訓(xùn)練數(shù)據(jù)計(jì)算真實(shí)梯度的（普通）梯度下降法。

學(xué)習(xí)率 η 是一個(gè)超參數(shù)，用于控制優(yōu)化過程中每一步對權(quán)重更新的幅度。若學(xué)習(xí)率過大，優(yōu)化算法可能越過最優(yōu)解，導(dǎo)致訓(xùn)練不穩(wěn)定甚至發(fā)散；反之，若學(xué)習(xí)率過小，算法可能需極長時(shí)間才能收斂至最小值。因此，選擇合適的學(xué)習(xí)率對訓(xùn)練成功至關(guān)重要。

目前存在多種學(xué)習(xí)率設(shè)定策略，包括：固定學(xué)習(xí)率、學(xué)習(xí)率調(diào)度（learning rate schedules）以及自適應(yīng)學(xué)習(xí)率。

• 固定學(xué)習(xí)率指在整個(gè)訓(xùn)練過程中保持學(xué)習(xí)率恒定；
• 學(xué)習(xí)率調(diào)度指隨訓(xùn)練進(jìn)程逐步降低學(xué)習(xí)率；
• 自適應(yīng)學(xué)習(xí)率則根據(jù)優(yōu)化進(jìn)展動態(tài)調(diào)整學(xué)習(xí)率。

此外，訓(xùn)練過程中還可采用多種技術(shù)監(jiān)控學(xué)習(xí)率：例如，當(dāng)驗(yàn)證損失不再改善時(shí)，按預(yù)設(shè)調(diào)度降低學(xué)習(xí)率；或通過監(jiān)測梯度變化，判斷當(dāng)前學(xué)習(xí)率是否過高或過低。

總體而言，選擇恰當(dāng)?shù)膶W(xué)習(xí)率需結(jié)合實(shí)驗(yàn)與調(diào)優(yōu)，不存在放之四海而皆準(zhǔn)的通用方案。

1.5 概率推斷與深度學(xué)習(xí)

在高風(fēng)險(xiǎn)領(lǐng)域，預(yù)測錯誤將帶來巨大代價(jià)。幸運(yùn)的是，此類領(lǐng)域往往具備一種安全后備機(jī)制：例如，自動駕駛汽車可執(zhí)行緊急制動，醫(yī)生可追加其他診斷檢查，工業(yè)生產(chǎn)流程可暫時(shí)中止。對于深度學(xué)習(xí)模型，可通過設(shè)定一個(gè)預(yù)設(shè)置信度閾值，拒絕對置信度低于該閾值的數(shù)據(jù)點(diǎn)做出預(yù)測，從而實(shí)現(xiàn)類似的安全機(jī)制。借此，雖以犧牲部分預(yù)測（即拒絕率上升）為代價(jià)，卻能確保較低的錯誤率。

然而，如何從神經(jīng)網(wǎng)絡(luò)中估計(jì)出高質(zhì)量的置信度分?jǐn)?shù)——即生成能對正確與錯誤預(yù)測進(jìn)行良好排序的置信度——仍是當(dāng)前研究的熱點(diǎn)與難點(diǎn)。

深度隱變量模型（Deep Latent Variable Models, DLVMs；見圖1.1）通過引入隱變量 z 來應(yīng)對這一挑戰(zhàn)：其中后驗(yàn)分布 p(z|x) 的不確定性直接影響對目標(biāo)預(yù)測的置信度評估。近年來，已提出多種高效的推斷算法，其中尤以變分推斷（variational inference）為代表：其通過優(yōu)化一個(gè)推斷神經(jīng)網(wǎng)絡(luò)，使其預(yù)測某個(gè)變分分布的參數(shù)，從而逼近原本難以處理的真實(shí)后驗(yàn)分布（Kingma & Welling, 2013；Rezende 等, 2014；Alemi 等, 2016；Achille & Soatto, 2016）。

在本論文第三部分，我們探究如何在深度學(xué)習(xí)中量化不確定性。我們以 Tishby 等人（2000）提出的信息瓶頸（Information Bottleneck, IB）理論為視角展開研究。信息瓶頸目標(biāo)函數(shù)為其旨在最大化隱變量 z 與目標(biāo) y 之間的互信息，同時(shí)最小化 z 與輸入 x 之間的互信息。如 Alemi 等（2016）與 Achille 和 Soatto（2016）同期所示，該目標(biāo)可通過變分推斷方案高效優(yōu)化。
在馬爾可夫假設(shè) p(z, x, y) = p(z|x)p(y|x)p(x) 下，他們推導(dǎo)出如下下界（lower bound）：

其中，關(guān)于期望項(xiàng) ???|??? 的計(jì)算通常通過單個(gè)蒙特卡洛樣本進(jìn)行估計(jì)，而 r(z) 是對邊緣分布 p(z) 的一種變分近似。對于 r(z)，一個(gè)常見選擇是采用簡單的分布形式，例如標(biāo)準(zhǔn)正態(tài)分布（Normal）。Alemi 等人（2016）與 Achille 和 Soatto（2016）進(jìn)一步指出：Kingma 與 Welling（2013）及 Rezende 等人（2014）提出的變分自編碼器（VAE）的證據(jù)下界（ELBO），實(shí)際上是信息瓶頸（IB）下界在 y = x 且 β = 1 時(shí)的一個(gè)特例：

其中 i 表示數(shù)據(jù)點(diǎn) x? 的標(biāo)識。有趣的是，從 VAE 的視角來看，該下界旨在優(yōu)化一個(gè)變分分布 q(z|x)；而從信息瓶頸（IB）的視角出發(fā)，則認(rèn)為 ELBO 中的 q(z|x) 并非變分后驗(yàn)，而是真實(shí)的編碼器分布 p(z|x)，真正被變分近似替代的是 p(y|z) 與 p(z)。然而，若在條件分布 p(y|x) 上推導(dǎo) ELBO，將導(dǎo)致一個(gè) KL 散度項(xiàng)——即近似后驗(yàn) q(z|x) 與真實(shí)后驗(yàn) p(z|x) 之間的距離——但真實(shí)后驗(yàn) p(z|x) 在測試階段是不可獲得的，而非先驗(yàn)分布 p(z)。

另一種理解方式是：公式 1.1 可被視為一種域轉(zhuǎn)換型 beta-VAE（Higgins 等，2016），其中輸入圖像被編碼至隱空間，再解碼到目標(biāo)域。此時(shí)，拉格朗日乘子 β 控制著“率”（rate）與“失真”（distortion）之間的權(quán)衡，正如 Alemi 等人（2017）所論證。然而，這種解釋并非直接源于在條件似然 p(y|x) 上應(yīng)用 Jensen 不等式推導(dǎo) ELBO 的過程。

原文鏈接：https://pure.uva.nl/ws/files/178886789/Thesis.pdf