鷺羽 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

AI生成論文泛濫成災(zāi)，arXiv平臺看不下去了——

緊急升級審核機制，用自動化工具來檢測AI生成內(nèi)容。

Nature最新發(fā)現(xiàn)，原來每年竟然都有2%的論文會因為AI使用被拒？！

比如像，bioRxiv和medRxiv每天都要拒絕十多篇公式化AI手稿，每個月就高達(dá)7000多份。

本來是方便快速分享成果的預(yù)印本平臺，現(xiàn)已成為了AI內(nèi)容的溫床。

一方面AI寫作泛濫成災(zāi)，另一方面又要確保不會誤傷到合理的AI英語潤色需求。

兩難之間，預(yù)印本平臺也是出手整頓了…….

不過這件事還得從一篇離譜的預(yù)印本論文說起。

AI生成內(nèi)容泛濫

這篇論文題目名為“自我實驗報告：夢境中生成式人工智能界面的出現(xiàn)”，7月發(fā)表在PsyArXiv上。

乍一看好像沒什么問題，直到“不幸”被一名心理學(xué)家點開了文檔。

嚯好家伙，整篇論文只有短短幾頁，署名還只有作者Jiazheng Liu一個人，也沒有注明隸屬機構(gòu)。

再仔細(xì)看看內(nèi)容呢，所描述的AI實驗更是脫離實際，基本可以蓋棺定論用了AI。

由于沒有明確聲明AI的使用情況，PsyArxiv也是立即下架刪除了這篇論文。

結(jié)果沒過多久，由于預(yù)印本審核不嚴(yán)，該作者再次在PsyArxiv上傳了標(biāo)題和摘要幾乎一模一樣的預(yù)印本。

另外作者還向Nature附了一封郵件，郵件內(nèi)容表示AI在該論文生成中發(fā)揮作用有限，只用于數(shù)學(xué)推導(dǎo)、符號計算、組裝和應(yīng)用現(xiàn)有數(shù)學(xué)工具、公式驗證以及另外八項任務(wù)。

他稱自己是常駐中國的獨立研究人員，沒有高等教育學(xué)位，唯一的工具還是臺二手智能手機……當(dāng)然，現(xiàn)在第二個版本也已被刪除。

不過這也只是眾多AI生成論文中的其中一篇，據(jù)arXiv估計，每年都有約2%的論文，因為涉及AI和專門批量造假學(xué)術(shù)論文的論文工廠，而被平臺拒之門外。

尤其是在ChatGPT推出后，這一比例還出現(xiàn)了大幅度增長的情況，LLM生成了arXiv上22%的計算機科學(xué)摘要以及約10%的bioRxiv生物學(xué)摘要。

在一些發(fā)表在生物醫(yī)學(xué)期刊的摘要中，AI生成也達(dá)到了14%。

PsyArXiv也對此發(fā)表了聲明，明確表示涉及AI生成的論文內(nèi)容有所增加，對于他們這類降低研究共享門檻的非盈利組織而言，越來越多諸如此類的內(nèi)容，只會讓讀者削弱對平臺共享內(nèi)容的信任程度。

篩選低質(zhì)量的內(nèi)容需要資源支持，且會降低論文提交后的處理速度，這與預(yù)印本平臺致力于讓科學(xué)家們更容易發(fā)表工作的初心相悖。

而與此同時，AI幻覺導(dǎo)致的虛假預(yù)印本也會帶來錯誤信息，誤導(dǎo)從事相關(guān)工作的科研人員。

如何能夠在保持快速審核的同時，確保質(zhì)量水平，現(xiàn)已成為預(yù)印本平臺共同的挑戰(zhàn)。

預(yù)印本平臺沒有坐以待斃

要知道，AI論文生成并不能全盤否定，許多研究人員會使用AI工具來提高清晰度或者總結(jié)數(shù)據(jù)，尤其是對于一些英語非母語的作者，他們需要AI協(xié)助完成潤色工作。

這是相當(dāng)合理的行為，并不存在論文欺詐，真正值得擔(dān)心的是那些完全由AI捏造方法、結(jié)果的論文內(nèi)容。

但二者之間其實相當(dāng)難以區(qū)分，一些預(yù)印本平臺，如PsyArXiv，會直接撤下被標(biāo)記為內(nèi)容存疑的論文，但還有一些平臺考慮到可能會誤傷，所以雖然也會將內(nèi)容標(biāo)記為“已撤回”，但在沒有明確法律要求的情況下，不會直接進(jìn)行刪除。

不過他們也沒有坐以待斃，現(xiàn)在會使用各種自動化工具和人工篩選程序來捕捉此類可疑內(nèi)容，如Research Square正在使用一款名為Geppetto的工具來檢測人工智能生成文本的痕跡。

arXiv也在試圖提高綜述性論文的發(fā)表標(biāo)準(zhǔn)，因為這類論文往往投稿數(shù)量巨大，且很多都是AI生成，這樣做的目的就是為了豐富個人履歷。

一直依賴人工篩選的openRxiv，現(xiàn)在也在尋求自動化工具使用，以進(jìn)一步識別AI生成內(nèi)容的特征。

當(dāng)前預(yù)印本平臺們都正在加急采取一系列反制措施，包括檢查異常用戶行為、在投稿流程中增設(shè)步驟、調(diào)整內(nèi)容公開可見的方式或時間，以阻止低質(zhì)量內(nèi)容進(jìn)入平臺。

但這無異于隔靴搔癢，預(yù)印本平臺在反擊的同時，AI也在不斷發(fā)展。

更有甚者，一些作者為了規(guī)避被自動化工具抓住AI使用痕跡，會在論文里加入提示詞，試圖欺騙自動評審。

也有專業(yè)的編輯表示，這對于預(yù)印本平臺來說相當(dāng)可怕，因為預(yù)印本其實本質(zhì)還是未經(jīng)人工審查的。

所以當(dāng)未來AI發(fā)展到，虛假與真實內(nèi)容之間已經(jīng)完全無法區(qū)分的時候，預(yù)印本平臺又將如何應(yīng)對呢？

參考鏈接：
[1]https://www.nature.com/articles/d41586-025-02469-y
[2]https://www.cos.io/blog/evaluating-ai-impact-on-open-research-infrastructure