掃描隧道顯微鏡（STM）是制備傳統(tǒng)合成方法難以獲得的低維碳基材料的關(guān)鍵手段，其可編程自動(dòng)化操控為實(shí)現(xiàn)表面合成過程的自動(dòng)化提供了可能。然而，實(shí)現(xiàn)自動(dòng)化仍面臨一個(gè)重要挑戰(zhàn)：如何在STM圖像中精準(zhǔn)識(shí)別相似度高、缺乏超結(jié)構(gòu)、呈稀疏分布或多類分子共存的情況?，F(xiàn)有機(jī)器學(xué)習(xí)框架，如兩階段Faster R-CNN或單階段YOLO模型，在體系組分簡單、具有超結(jié)構(gòu)等特定場景中表現(xiàn)良好，卻難以適用于復(fù)雜的STM圖像識(shí)別。其局限性在于：首先，對(duì)于高度相似、景深單一的STM圖像反而會(huì)造成分類的極大混淆；其次，分子的分布缺乏超結(jié)構(gòu)具有的周期性、準(zhǔn)周期性或旋轉(zhuǎn)對(duì)稱性；可用的圖像數(shù)據(jù)量有限，分辨率不足，構(gòu)成典型的小樣本學(xué)習(xí)問題。

近期，中國科學(xué)院物理研究所/北京凝聚態(tài)物理國家研究中心納米物理與器件重點(diǎn)實(shí)驗(yàn)室N11課題組和蘇州大學(xué)遲力峰院士團(tuán)隊(duì)合作，開發(fā)設(shè)計(jì)了一種基于識(shí)別框歸一化的兩階段分子機(jī)器視覺識(shí)別框架ReSTOLO。該框架在數(shù)據(jù)有限、缺乏超結(jié)構(gòu)信息的條件下，成功實(shí)現(xiàn)了6類相似分子體系STM圖像的精確定位與分類，其單類平均精度和召回率均超過85%（圖1），在另外兩個(gè)分子體系STM圖像識(shí)別中的表現(xiàn)也進(jìn)一步驗(yàn)證了其有效性與泛化能力。

ReSTOLO通過將檢測分解為定位和分類兩個(gè)獨(dú)立階段，使每個(gè)模型能夠?qū)Ｗ⒂谄涮囟ㄈ蝿?wù)，從而最大限度地發(fā)揮YOLO在定位與ResNet-101在分類方面的優(yōu)勢。該設(shè)計(jì)有效避免了YOLO在執(zhí)行聯(lián)合檢測和分類時(shí)存在的不精確性和冗余計(jì)算問題，同時(shí)也消除了因輸入圖像尺寸差異對(duì)ResNet-101分類性能帶來的干擾。為此，研究團(tuán)隊(duì)在YOLO完成初步定位后，引入了檢測框歸一化處理：基于原始圖像和YOLO輸出的檢測框信息，對(duì)框體尺寸進(jìn)行歸一化和調(diào)整，保證檢測框大小統(tǒng)一，以增強(qiáng)后續(xù)分類階段的準(zhǔn)確性與一致性。該策略的實(shí)現(xiàn)依賴于以下幾個(gè)事實(shí)依據(jù)：多數(shù)分子尺寸相近；STM圖像整體景深幾乎一致，以及實(shí)驗(yàn)采集STM圖像時(shí)的分辨率/放大倍數(shù)是已知參數(shù)。此外，研究團(tuán)隊(duì)還采用了融合物理先驗(yàn)和實(shí)驗(yàn)信息的數(shù)據(jù)增強(qiáng)方法，充分考慮了體系的對(duì)稱性以及實(shí)驗(yàn)條件變化。該方法在有效擴(kuò)充訓(xùn)練數(shù)據(jù)、緩解小樣本問題的同時(shí)，避免了無效冗余信息的引入，進(jìn)一步提升了模型的識(shí)別性能與魯棒性。

圖1. 研究體系、ReSTOLO的兩階段分子圖像識(shí)別過程及優(yōu)異的識(shí)別性能。YOLO v5.m和ResNet-101分別專注于定位、分類任務(wù)，并通過框歸一化相互連接，極大減少了檢測框的易變性帶來的干擾，取得了理想的檢測效果。圖片來源： J. Am. Chem. Soc .

ReSTOLO的提出揭示了現(xiàn)有機(jī)器視覺分子識(shí)別系統(tǒng)在復(fù)雜任務(wù)中表現(xiàn)不佳的根本原因，為設(shè)計(jì)契合表面科學(xué)研究特點(diǎn)的專用機(jī)器視覺系統(tǒng)提供了重要參考，同時(shí)，它作為一個(gè)高效的工具，將直接推動(dòng)分子的自動(dòng)化檢測、現(xiàn)象觀察、精準(zhǔn)自動(dòng)合成和性質(zhì)分析等研究進(jìn)程。相關(guān)成果以“A Two-stage Machine Learning Framework for Accurate Discrimination of Isomers and Very-similar Molecules on Surfaces”為題發(fā)表在Journal of the American Chemical Society上，中國科學(xué)院物理研究所N11組博士生魏子軒為第一作者，杜世萱研究員、蘇州大學(xué)遲力峰院士和仲啟剛教授為共同通訊作者，該項(xiàng)研究得到了國家自然科學(xué)基金、中國科學(xué)院和北京自然科學(xué)基金的資助。

編輯：晨曙