本文內(nèi)容整理自醫(yī)咖會《在開始統(tǒng)計分析前，如何對數(shù)據(jù)進(jìn)行清洗或轉(zhuǎn)換？》專欄，小咖針對其中異常值處理相關(guān)內(nèi)容進(jìn)行了整理，可點擊左下角“閱讀原文”查看完整視頻。

異常值是什么？

在科研中，數(shù)據(jù)清洗首先要做的就是處理異常值。樣本中存在的一些數(shù)值明顯偏離的觀測值，就叫做異常值，這時候需要識別異常值是因為數(shù)據(jù)錄入錯誤、測量誤差、還是客觀存在的真實數(shù)值？如何在保留數(shù)據(jù)信息的基礎(chǔ)上，識別異常值，并對異常值進(jìn)行有效處理，是數(shù)據(jù)清洗中一個非常重要的環(huán)節(jié)。

在X范圍內(nèi)，但不在Y范圍內(nèi)的異常值為Y的異常值，稱為離群值（圖A）；反之則為X的異常值，稱為高杠桿點（圖B）。無論是哪種異常值，只要對相關(guān)性或回歸分析造成很大影響，就可以稱之為強(qiáng)影響點。圖C的點既是離群值又是高杠桿點，但因其未改變分析結(jié)果，并不能稱為高影響點，該數(shù)值很有可能是真實存在的。研究中，最需關(guān)注的是高影響點。

怎樣識別異常值？

比較直觀的一個識別異常值的方法是箱圖。箱圖中超出上下限的點均為異常值，并且標(biāo)注了異常值編號，可以直接觀察相應(yīng)的患者尋找異常值來源。箱圖中距離箱體邊緣超過1.5倍箱體長度的數(shù)據(jù)點定義為異常值，超過3倍的數(shù)據(jù)點稱為極端值。

如何處理異常值？

有些異常值的影響非常大。如圖，在將異常值刪除后，相關(guān)系數(shù)和回歸系數(shù)均發(fā)生了較大的變化。所以需要進(jìn)行異常值的處理。

異常值通常有以下四種處理方法：

第一，需要核查數(shù)據(jù)是否存在收集或錄入錯誤，及時進(jìn)行重新收集或者更正；

第二，如果異常值客觀存在，符合變化趨勢，可以考慮保留異常值。但可能會導(dǎo)致數(shù)值呈現(xiàn)偏態(tài)分布，這時可以使用非參數(shù)分析方法、用非最極端的值來代替極端異常值，對變量進(jìn)行轉(zhuǎn)化（如將數(shù)值分類轉(zhuǎn)化為等級變量），進(jìn)而縮小異常值帶來的影響。

第三，如果異常值不屬于上述情況，且占比很小，可以考慮直接剔除數(shù)據(jù)。剔除數(shù)據(jù)分為剔除該患者所有數(shù)據(jù)，和僅剔除患者該單元數(shù)據(jù)，選擇后者需將剔除數(shù)據(jù)視為缺失值，進(jìn)行插補(bǔ)，并且報告該數(shù)值的詳細(xì)情況。

第四，如果異常值極大可能是真實存在的，可以考慮將其納入分析。這種數(shù)據(jù)通常極具研究性，單獨對該類人群進(jìn)行挖掘分析可能會得到一些比較意外的結(jié)果。