【CNMO科技消息】近日，美國佛羅里達(dá)州德蘭市西南中學(xué)（Southwestern Middle School）一名13歲學(xué)生被逮捕并羈押于監(jiān)獄。CNMO從外媒獲悉，事件起因是他在學(xué)校設(shè)備上使用OpenAI的ChatGPT時，輸入了“如何在上課過程中殺死我的朋友”這一令人不安的提問。該查詢被學(xué)校部署的人工智能監(jiān)控系統(tǒng)Gaggle實時捕獲，并立即向校警發(fā)出警報。

涉事學(xué)生事后聲稱，自己只是在“開玩笑”，并非真有惡意。然而，根據(jù)自動化監(jiān)控協(xié)議，系統(tǒng)仍觸發(fā)執(zhí)法介入。

Gaggle是美國中小學(xué)廣泛采用的安全監(jiān)控服務(wù)，其主要功能是通過實時分析學(xué)生在校設(shè)備上的數(shù)字活動（包括瀏覽器使用、文檔內(nèi)容、搜索引擎查詢及通訊記錄）來預(yù)防暴力或自殘事件。該公司宣稱其服務(wù)覆蓋全美近500萬學(xué)生，部分學(xué)區(qū)每年需支付高達(dá)6萬美元的費用。

然而，該系統(tǒng)長期因誤報率過高而受到批評。Gaggle自行披露的數(shù)據(jù)顯示，僅有約0.0036%的警報屬于“嚴(yán)重事件”，即每10萬次警報中僅有約36次是合理警告，其余99.9964%均為誤報。實際案例中，誤報內(nèi)容包括學(xué)生作業(yè)、朋友間的玩笑對話等。例如，在堪薩斯州勞倫斯市，過去10個月內(nèi)Gaggle發(fā)出的1200次警報中，近三分之二被判定為無害，其中超過200次是學(xué)生提交的家庭作業(yè)。

批評者指出，此類系統(tǒng)可能造成“類監(jiān)控國家”的校園氛圍，并對學(xué)生產(chǎn)生嚴(yán)重的心理后果。在佛羅里達(dá)州波爾克縣，過去四年中近500次Gaggle警報導(dǎo)致了72起根據(jù)《貝克法案》（Baker Act，佛羅里達(dá)州精神病強制評估法律）的非自愿住院治療。許多案例中，學(xué)生因隨意言論遭遇逮捕、強制心理評估或羈押，盡管未構(gòu)成真實威脅，但仍需面對長期心理創(chuàng)傷及法律后果。

相關(guān)報道

目前，尚無獨立研究證明人工智能監(jiān)控能顯著降低學(xué)生自殺率或校園暴力。2023年的一項研究發(fā)現(xiàn)，關(guān)于此類系統(tǒng)的益處或風(fēng)險僅有有限證據(jù)，這使得高額投資與潛在學(xué)生權(quán)益損害之間的成本效益比受到質(zhì)疑。