王格 中青報(bào)·中青網(wǎng)記者孫海華

點(diǎn)擊上傳一張左下角缺損的永樂宮《朝元圖》壁畫中諸神持笏朝拜的局部圖，僅僅大約5秒鐘后，系統(tǒng)就可將缺損處修補(bǔ)完好，肉眼難以看出補(bǔ)全痕跡。這便是西安電子科技大學(xué)人工智能學(xué)院焦李成教授團(tuán)隊(duì)研發(fā)的“絲路逸旅：文旅資源修復(fù)與生成基礎(chǔ)模型”。

不僅能智能“診斷”，還能助力現(xiàn)實(shí)“補(bǔ)全”

對(duì)于毫無歷史、考古等專業(yè)背景的團(tuán)隊(duì)來說，在沒有高質(zhì)量原圖參考的情況下，如何將壁畫修補(bǔ)正確且具備歷史性、藝術(shù)性，是面臨的第一個(gè)難題。

要想修補(bǔ)得好，首先得對(duì)壁畫有正確的“診斷”。

為解決傳統(tǒng)病害勘察依賴人工、效率低且診斷難的痛點(diǎn)，“絲路逸旅”模型搭載起了“壁畫病害檢測(cè)與分析”方案，從壁畫病害的檢測(cè)、分析到修復(fù)方案的生成，全過程都可實(shí)現(xiàn)無人工干預(yù)的自動(dòng)化智能處理。

生成式大模型知識(shí)引導(dǎo)壁畫補(bǔ)全流程示意圖。西安電子科技大學(xué)供圖

當(dāng)把有所殘缺的《唐惠妃武氏墓山水屏風(fēng)》和《韓休墓山水圖》電子版依次上傳到系統(tǒng)中，便可一鍵生成圖文并茂的文物“體檢報(bào)告”。

這份“報(bào)告”中，可以很清晰地看到系統(tǒng)用藍(lán)色、紫色、白色和黑色在原圖中的標(biāo)注，這些標(biāo)注色彩分別代表剝落、褪色、霉斑、裂縫等病害，在對(duì)相應(yīng)區(qū)域給出壁畫病害類別定義、病害程度分析的同時(shí)，還提出了“霉斑去除”“補(bǔ)充線條”等對(duì)策，甚至可以給出使用何種礦物顏料進(jìn)行填補(bǔ)的精細(xì)化建議。

實(shí)驗(yàn)室里，團(tuán)隊(duì)成員、博士二年級(jí)學(xué)生高子涵熟練進(jìn)行著演示，“這個(gè)方案以視覺分割網(wǎng)絡(luò)和多模態(tài)基礎(chǔ)模型為內(nèi)核，能夠?qū)崿F(xiàn)對(duì)裂縫、剝落等病害區(qū)域的像素級(jí)精準(zhǔn)識(shí)別，并通過知識(shí)檢索增強(qiáng)技術(shù)關(guān)聯(lián)考古文獻(xiàn)，給出分析和應(yīng)對(duì)建議，不僅為數(shù)字化修復(fù)開出‘藥方’，還能為現(xiàn)實(shí)中的壁畫修補(bǔ)提供一定的輔助”。

高效壁畫病害檢測(cè)示例圖。西安電子科技大學(xué)供圖

基于這樣一份全面的“體檢報(bào)告”，系統(tǒng)不僅能對(duì)因病害導(dǎo)致的褪色、模糊等問題進(jìn)行修復(fù)，還可對(duì)缺損的部分進(jìn)行補(bǔ)全。

“我們國(guó)家的歷史朝代多，不同時(shí)期的壁畫、器物等都具有不同的歷史特征，所以我們?cè)谇捌诨ㄙM(fèi)了大量時(shí)間用于數(shù)據(jù)和信息的收集，整個(gè)過程需要反復(fù)驗(yàn)證，以保證修復(fù)后的準(zhǔn)確度。”團(tuán)隊(duì)成員、博士二年級(jí)學(xué)生王子韜介紹，“對(duì)于壁畫文物中無法考證的缺失部分，我們和華清宮文保中心聯(lián)合提出了基于生成式大模型知識(shí)引導(dǎo)的壁畫補(bǔ)全方法”。

生成式大模型就像一位善于學(xué)習(xí)的優(yōu)秀學(xué)生，可以廣泛涉獵、準(zhǔn)確理解學(xué)習(xí)到的歷史文獻(xiàn)和考古資料，并把所學(xué)到的內(nèi)容進(jìn)行結(jié)構(gòu)化梳理，應(yīng)用到模型對(duì)壁畫的修補(bǔ)過程中，從而確保補(bǔ)全內(nèi)容在藝術(shù)風(fēng)格、器物形制等方面均符合歷史事實(shí)與審美規(guī)范。

個(gè)性化定制，提升文旅新體驗(yàn)

在進(jìn)行壁畫“查—修—補(bǔ)”的過程中，團(tuán)隊(duì)成員開始越來越多地了解陜西歷史文化，也開始思考如何能讓游客擁有更好的文旅體驗(yàn)。

“請(qǐng)幫我搜集信息，給出完整的旅游規(guī)劃：我想在西安安排3天的旅游行程，我患有‘三高’，還有兩個(gè)孩子，想在西安這個(gè)‘碳水之城’盡可能玩得痛快，應(yīng)該如何安排飲食？規(guī)劃的路線希望既適當(dāng)又不累，還能讓孩子體驗(yàn)Citywalk，讓旅途的文化體驗(yàn)感、科技體驗(yàn)感都‘拉滿’？”輸入這樣一段需求，“絲路逸旅”大模型會(huì)很快從行程總覽、飲食建議、行程特色、交通建議、注意事項(xiàng)等方面，生成一份詳盡的定制版旅行攻略。

“相比其他大模型，我們會(huì)更精準(zhǔn)。”團(tuán)隊(duì)成員、博士二年級(jí)學(xué)生張潔解釋，得益于與當(dāng)?shù)匚穆貌块T的合作，“絲路逸旅”大模型獲取的信息會(huì)更加全面、準(zhǔn)確?！俺擞梦淖痔釂?，還可以上傳照片，大模型都可以為大家進(jìn)行多語(yǔ)種解答?！?/p>

以“瓊漿”為例的模型流程示意圖。西安電子科技大學(xué)供圖

上傳一張《黑神話：悟空》游戲中的“瓊漿”道具圖片，模型即可通過圖片檢索，發(fā)現(xiàn)其類似來通杯（流行于古代亞歐大陸的角狀飲酒器），指出在陜西歷史博物館中有相似展品“鑲金獸首瑪瑙杯”，定位出其珍藏于博物館負(fù)一層，并給出路徑規(guī)劃建議，還可對(duì)來通杯的歷史來源進(jìn)行問答和講解。

這一模型將“人找信息”變?yōu)椤靶畔⒄胰恕?，為游客提供高質(zhì)量的定制化伴隨化智能服務(wù)?！敖?jīng)過與陜西旅游集團(tuán)有限公司深度合作，我們面向游客需求，不斷更新模型，不僅可以為游客旅行前和旅行中提供攻略、文博知識(shí)講解，還與西安市漢服文化協(xié)會(huì)等聯(lián)合打造AI古風(fēng)換裝、AI盲盒設(shè)計(jì)等服務(wù)?！眻F(tuán)隊(duì)指導(dǎo)老師劉旭介紹。

古畫換裝與3D生成示意圖。西安電子科技大學(xué)供圖

據(jù)了解，未來，團(tuán)隊(duì)將依托人工智能、大數(shù)據(jù)與多模態(tài)感知等技術(shù)，在歷史文化遺產(chǎn)數(shù)字化保護(hù)、文旅資源智能推薦、沉浸式交互體驗(yàn)等方向持續(xù)探索，同時(shí)拓展與更多地方文旅部門的合作，用“西電方案”助力智能化文物修復(fù)，推動(dòng)優(yōu)秀歷史文化的創(chuàng)新傳播與可持續(xù)發(fā)展。

來源：中國(guó)青年報(bào)客戶端