如果生物每一代都近親繁殖，會發(fā)生什么？

隨著物種的基因庫變得越來越趨同，后代會逐漸失去適應環(huán)境的能力，遺傳缺陷不斷累積，最終導致種群的衰退甚至滅絕。這就是生物學中著名的“近交衰退”現(xiàn)象。

而現(xiàn)在，大語言模型也正在面臨同樣可怕的危機，當 AI 用自己生成的內容來訓練自己時，就像生物近親繁殖一樣，AI 也會逐漸劣化，甚至崩潰。

圖庫版權圖片，轉載使用可能引發(fā)版權糾紛

一個 AI 模型崩潰的真實案例

2022 年 11 月，ChatGPT 3.5 發(fā)布以來，越來越多的 AI 生成的內容被發(fā)布到網(wǎng)上。而新一代的AI模型在訓練時，不可避免地會將這些內容作為訓練數(shù)據(jù)的一部分。

當 AI 開始用自己生成的內容來訓練下一代 AI 時，AI 生成的內容會失去多樣性，變得越來越單一。就像不斷復印復印件的過程一樣，訓練的過程中，每一代模型都會丟失一些信息，特別是那些罕見但重要的尾部數(shù)據(jù)！

讓我們看一個真實的案例，AI 模型在遞歸生成數(shù)據(jù)上進行訓練時會導致的模型崩潰。

實驗用的模型是 Meta 公司開發(fā)的 OPT-125M 模型進行實驗。這個模型有 1.25 億個參數(shù)，屬于小型語言模型，但足以展示模型崩潰的全過程。

研究人員讓模型生成關于中世紀建筑的文章，然后用生成的內容訓練下一代模型，如此循環(huán)往復。每一代訓練完成后，都會輸入提示詞：

一些始于 1360 年之前的建筑工程——通常由一位主石匠和一小隊巡回石匠完成，并由當?shù)亟虆^(qū)勞工補充，根據(jù) PoyntzWright 的說法。但其他作者拒絕這種模式，認為主要建筑師是基于垂直式建筑的早期范例來設計教區(qū)教堂塔樓的。

1.第 0 代（原始模型）

這個模型能夠正常生成關于中世紀建筑的專業(yè)內容，討論哥特式建筑、羅馬式建筑等專業(yè)話題，整體內容連貫、邏輯清晰。

輸出內容：復興式建筑，如倫敦的圣約翰大教堂。垂直復興式建筑現(xiàn)存最早的例子出現(xiàn)在 18 世紀的根西島圣母教堂，該教堂可追溯到 19 世紀晚期。垂直式教堂有兩種類型：那些…”

2.第 1 代

開始出現(xiàn)輕微的偏離，但仍能保持建筑主題。

輸出內容：建筑，如羅馬的圣彼得大教堂或布宜諾斯艾利斯的圣彼得大教堂。沒有證據(jù)表明這些建筑是在教皇英諾森三世統(tǒng)治期間建造的，但有可能是在他的繼任者英諾森教皇統(tǒng)治期間建造的……

3.第 5 代

語義開始嚴重偏離，出現(xiàn)大量無關內容。

輸出內容：主義，已被翻譯成 100 多種語言，包括英語、法語、德語、意大利語、西班牙語、葡萄牙語、荷蘭語、瑞典語、挪威語、波蘭語、匈牙利語、斯洛伐克語、立陶宛語、愛沙尼亞語、芬蘭語、羅馬尼亞語、保加利亞語、土耳其語、克羅地亞語、塞爾維亞語、烏克蘭語、俄語、哈薩克語、吉爾吉斯語……

4.第 9 代

經(jīng)過數(shù)次反復循環(huán)后，模型的輸出從專業(yè)的中世紀建筑學討論，變成了瘋狂的彩色杰克兔大全，徹底崩潰了。

輸出內容：建筑。除了是世界上最大的黑尾杰克兔、白尾杰克兔、藍尾杰克兔、紅尾杰克兔、黃尾杰克兔種群的棲息地之一……

模型崩潰是怎么發(fā)生的？

要理解模型崩潰為什么會發(fā)生，我們需要從信息論的角度來看這個問題。還記得香農的數(shù)據(jù)處理不等式嗎？簡單來說就是：在任何信息處理鏈中，信息只會減少或保持不變，而不會增加。

這就像是一個傳話游戲：原始人類數(shù)據(jù)是第一個人說的話，第一代 AI 模型是第二個人，聽到后轉述給下一個人（已經(jīng)有信息損失了）；第二代 AI 模型是第三個人，在已經(jīng)失真的信息基礎上再次轉述

如此循環(huán)往復，每一次傳遞都會進一步失真，最終的結果可想而知，原本的“今天天氣真好”可能變成了“今天有只兔子”！

大語言模型的劣化過程也是如此，每一代訓練過程中的誤差被累積傳遞下去最終導致問題越來越大！

那么模型崩潰會導致什么后果？

首先模型崩潰機會導致所有的生成式 AI 劣化。拿圖像生成模型來說，未來 AI 生成的人臉可能會越來越相似，最終趨向于同一張標準臉。

這是因為隨著 AI 生成圖像在互聯(lián)網(wǎng)上的大量傳播，新一代的圖像生成模型不可避免地會將這些合成圖像作為訓練數(shù)據(jù)。由于 AI 生成的人臉往往具有某些共同特征（比如特定的面部比例、肌膚質感、光影效果），當這些特征在訓練數(shù)據(jù)中占據(jù)主導地位時，模型就會逐漸遺忘真實人臉的多樣性，轉而生成越來越標準化、同質化的面孔。

這不只是技術問題，更是社會危機！模型崩潰甚至會顛覆我們整個社會的運轉方式！

圖庫版權圖片，轉載使用可能引發(fā)版權糾紛

模型崩潰對人類社會有哪些影響？

人類文明會變成“復制-粘貼”時代

當 AI 模型發(fā)生崩潰后，它們就像得了健忘癥的老師，只記得那些最常見、最普通的知識，而把那些珍貴的、獨特的文化瑰寶統(tǒng)統(tǒng)忘記了！

隨著這些“生病”的大語言模型被使用得越來越頻繁，慢慢地文化多樣性就會開始消失！因為 AI 只會生成那些大眾化的內容，就像所有的餐廳都只做川菜，再也沒有粵菜、湘菜、東北菜了。小眾文化、地方特色、民族傳統(tǒng)，統(tǒng)統(tǒng)被遺忘！

創(chuàng)意變成了流水線產(chǎn)品，所有 AI 生成的音樂都是同一個調調，所有的畫作都是同一種風格，所有的小說都是同一個套路。就像工廠里生產(chǎn)的商品，千篇一律！

偏見被無限放大

AI 的偏見會像滾雪球一樣越滾越大，影響到教育、新聞、法律判決。如果某個 AI 認為“程序員都是宅男”，這個刻板印象就會被無限強化！

歷史可能被篡改，未來的 AI 可能無法準確記錄我們這個時代的多元文化，就像古代的史書可能會遺漏很多真實的歷史一樣。數(shù)十年之后，現(xiàn)在我們所謂的 AI 味可能會變成這個社會的主流，沒有 AI 味的內容反而是錯誤的，不正確的。

最可怕的后果是單一化的循環(huán)！

如果大部分內容都由 AI 生成，而這些 AI 又在互相抄作業(yè)，那我們的文明就會陷入一個可怕的循環(huán)：AI 生成內容→人類消費這些內容→AI 學習這些內容→生成更相似的內容…

這就像一個巨大的回音室，最終所有人都會穿一樣的衣服，聽一樣的音樂，看一樣的電影，甚至想一樣的事情。

這不是科幻電影里的情節(jié)，而是我們現(xiàn)在就必須警惕的現(xiàn)實威脅！

圖庫版權圖片，轉載使用可能引發(fā)版權糾紛

如何阻止 AI 的集體墮落？

現(xiàn)在 AI 領域的前沿研究者也已經(jīng)意識到了這個問題，正在想辦法拯救我們的 AI。就像人需要吃新鮮蔬菜才能保持健康一樣，AI 也需要新鮮的人類數(shù)據(jù)才能保持聰明。

我們可以通過建立人類內容保護區(qū)，專門收集和保護人類原創(chuàng)的內容，就像建立自然保護區(qū)一樣；與作家、藝術家、音樂家建立長期合作，確保有源源不斷的新鮮血液。

另外，我們還可以給 AI 內容加入識別標志，比如給 AI 內容打上數(shù)字水印，就像鈔票上的防偽標記，AI 內容也有隱形的防偽碼，又或者使用區(qū)塊鏈追蹤，像快遞包裹一樣，每個內容都有完整的物流信息。

總之，未來的 AI 世界，由我們共同書寫。模型崩潰并不是 AI 的宿命，而是我們可以避免的陷阱。

策劃制作

本文為科普中國·創(chuàng)作培育計劃扶持作品

出品丨中國科協(xié)科普部

監(jiān)制丨中國科學技術出版社有限公司、北京中科星河文化傳媒有限公司

作者丨田威 AI 工具研究者

審核丨于旸 騰訊玄武實驗室負責人

策劃丨張林林

責編丨張林林

審校丨徐來