你可能見過這樣一類人:
他們穩(wěn)定細(xì)致,把流程背得滾瓜爛熟,那套方法也曾為他們帶來(lái)過成效與成就感。但當(dāng)環(huán)境改變,規(guī)則重構(gòu),新變量不斷涌入時(shí),他們下意識(shí)拿起的還是那套舊解法。相比于停下腳步重新審視框架的適用性,他們總是更用力地去打磨熟悉的流程;
家庭教育中也存在類似場(chǎng)景:父母憑借舊時(shí)代的學(xué)習(xí)方式實(shí)現(xiàn)了上升路徑,便將其視為黃金標(biāo)準(zhǔn),希望原封不動(dòng)地復(fù)制給下一代,按圖施工,卻忽略了新環(huán)境的競(jìng)爭(zhēng)結(jié)構(gòu)與選擇空間。
這些人往往是某類特定題型的優(yōu)等生。正因經(jīng)驗(yàn)曾帶來(lái)過回報(bào),他們更容易形成路徑依賴,把曾經(jīng)的正確答案背得爛熟??僧?dāng)游戲規(guī)則變化,不再奏效的經(jīng)驗(yàn)反而成了決策的干擾項(xiàng)。
這不僅是個(gè)體的困局:企業(yè)依賴舊商業(yè)模式難以轉(zhuǎn)型,管理者沿用過時(shí)激勵(lì)機(jī)制管理新世代,品牌用上一代的邏輯猜測(cè)新消費(fèi)群體……
這正是一種認(rèn)知上的過擬合:我們?cè)谑煜栴}上訓(xùn)練得太“好” ,但精進(jìn)的不是對(duì)底層規(guī)律的理解,而是特定的做法或流程。結(jié)果就是:當(dāng)題型變了、系統(tǒng)重構(gòu)、變量更迭,原有的框架不再適用,大腦仍在不假思索地套用舊答案。
成功經(jīng)驗(yàn)是如何演化為過擬合?
為什么越是過去做得出色的人,反而越容易在變化中失速?
機(jī)器學(xué)習(xí)中有個(gè)概念叫做:過擬合(Overfitting),描述的是一種學(xué)得太好反而失效的現(xiàn)象:模型在訓(xùn)練集上表現(xiàn)完美,卻在新數(shù)據(jù)上一敗涂地。因?yàn)樗皇菍W(xué)到了通用規(guī)律,而是記住了過去數(shù)據(jù)的細(xì)節(jié)與噪聲。
如圖中表示:
左圖是欠擬合:模型太簡(jiǎn)單,淺嘗輒止,于是只抓到了皮毛沒抓到規(guī)律,錯(cuò)過了關(guān)鍵結(jié)構(gòu)。
中間是恰到好處:模型既理解了數(shù)據(jù)的整體趨勢(shì),也不過度追逐每一個(gè)噪聲點(diǎn),就像我們理性中的認(rèn)知態(tài):能抽象出底層結(jié)構(gòu),同時(shí)保留對(duì)變化的彈性。
右圖就是過擬合:模型看似學(xué)得非常努力,把每一個(gè)點(diǎn)都照顧到了,但它其實(shí)把數(shù)據(jù)中的噪聲也當(dāng)成規(guī)律來(lái)學(xué)習(xí)。就像在某一類問題上訓(xùn)練得太精細(xì),以至于一旦題型稍有變化,就無(wú)法應(yīng)對(duì)。因?yàn)?strong>學(xué)到的不是原理,而是背熟了答案。
這也是我們每個(gè)人在成長(zhǎng)中極容易陷入的陷阱。靠某一套方法一路披荊斬棘,建立起優(yōu)勢(shì)與自信,于是自然地把那套解法當(dāng)作普遍適用的真理。
為什么我們會(huì)不自覺地陷入這種模式?
1. 對(duì)成功的錯(cuò)誤歸因
當(dāng)用某種方法獲得過成功,我們下意識(shí)把功勞歸給了方法本身,卻忽略了一個(gè)關(guān)鍵事實(shí):是方法與場(chǎng)景之間的匹配,才讓它有效。即便當(dāng)場(chǎng)景變了,我們也很少會(huì)立刻質(zhì)疑方法是否過時(shí),而傾向于懷疑自己是不是哪里沒做好,是不是執(zhí)行得還不夠徹底。
2. 認(rèn)知的自我強(qiáng)化機(jī)制
我們的大腦其實(shí)遠(yuǎn)沒有我們想象的那么開放。
認(rèn)知科學(xué)中有一個(gè)叫預(yù)測(cè)編碼的理論,大致意思是:大腦并不是開放地理解現(xiàn)實(shí),而是會(huì)基于經(jīng)驗(yàn)預(yù)判出一個(gè)世界的樣子,再用感官去驗(yàn)證猜測(cè)。只要現(xiàn)實(shí)沒明顯違背,我們就會(huì)默認(rèn)預(yù)判是對(duì)的,也就是說(shuō),我們看到的往往不是現(xiàn)實(shí)本身,而是被個(gè)人認(rèn)知和經(jīng)驗(yàn)加工過的現(xiàn)實(shí)。時(shí)間久了,我們不僅會(huì)越來(lái)越相信自己的經(jīng)驗(yàn),還會(huì)下意識(shí)屏蔽可能動(dòng)搖它的證據(jù)。
容易過擬合而陷入停滯的人,都有幾個(gè)共同點(diǎn):
1. 過度依賴即時(shí)反饋
他們?nèi)狈﹂L(zhǎng)期意義的標(biāo)尺,判斷一件事值不值得做,更多看的是現(xiàn)在有沒有反饋,當(dāng)下能不能起效。只要今天的數(shù)據(jù)好看、領(lǐng)導(dǎo)點(diǎn)個(gè)頭,就覺得方向?qū)α?,哪怕這件事早已是邊際效益極低的重復(fù)動(dòng)作。一旦短期內(nèi)沒有明顯回報(bào),就會(huì)開始懷疑焦慮,然后迅速放棄,很難撐過看不到即刻結(jié)果但值得長(zhǎng)期投入的深水區(qū)。
2. 極度追求確定性
他們偏愛標(biāo)準(zhǔn)答案和清晰的流程,對(duì)模糊性和不確定性感到本能的不安。只有當(dāng)任務(wù)清晰、路徑熟悉,才能感到掌控感。一旦邊界模糊就不敢邁步。這讓他們?cè)诿鎸?duì)復(fù)雜新問題時(shí),更傾向于從過去找參考答案,而不是搭建新模型。
3. 缺乏遷移能力
這類人往往擅長(zhǎng)記住“怎么做”,卻很難跳出具體案例,從中抽象出底層結(jié)構(gòu),再遷移到新情境中。
局部最優(yōu)陷阱:
每一步都極致優(yōu)化,最后卻走向死路?
局部最優(yōu) vs. 全局最優(yōu)
想象你站在一片山地中,目標(biāo)是登上整片區(qū)域的最高峰。你選擇了一個(gè)看似聰明的策略:每一步都往上走。剛開始一切順利,視野漸漸開闊,你以為離目標(biāo)越來(lái)越近。直到某一刻,四周全是下坡路——你站在了一座小山頭上。而真正的高峰藏在山谷的另一側(cè)。
回頭看每一步都沒錯(cuò),但向前也再無(wú)路可走。這就是典型的優(yōu)化策略爬山算法會(huì)掉入局部最優(yōu)陷阱的原因。在復(fù)雜、非線性的系統(tǒng)中,它的局限性就體現(xiàn)出來(lái)了:不考慮全局路徑結(jié)構(gòu),不允許暫時(shí)退步,也不具備探測(cè)遠(yuǎn)方高峰的能力。所以最終它很可能會(huì)卡在局部最優(yōu)點(diǎn)上,無(wú)法跳出。
現(xiàn)實(shí)生活也是一樣:我們每一步都希望能在眼前的提升看到快速反饋,但回報(bào)的轉(zhuǎn)折,需要承受一段探索、混亂、下行的過程。
諾基亞:一步步贏得當(dāng)下,最后輸?shù)粑磥?lái)
諾基亞曾是功能機(jī)時(shí)代的王者,幾乎壟斷市場(chǎng)。2000年代中期,高管層已清楚意識(shí)到智能機(jī)將顛覆行業(yè),但他們的選擇卻是繼續(xù)優(yōu)化 Symbian 系統(tǒng),強(qiáng)化已有產(chǎn)品線,提升利潤(rùn)效率。
在當(dāng)下看起來(lái)每一步都做得對(duì):節(jié)省成本、擴(kuò)大市場(chǎng)、維持供應(yīng)鏈效率;但這是正是一種典型的局部最優(yōu)困境:每次決策都以當(dāng)下最優(yōu)為標(biāo)準(zhǔn),卻一步步導(dǎo)致最終喪失了適應(yīng)智能時(shí)代的彈性。對(duì)比同期的蘋果,路線幾乎是反向的:他們砍掉了當(dāng)時(shí)最賺錢的 iPod mini,推翻 iPod 的操作邏輯,重構(gòu)多點(diǎn)觸控交互,甚至放棄構(gòu)建封閉系統(tǒng),轉(zhuǎn)向開放的 App Store 生態(tài)。每一步看起來(lái)都在拆掉優(yōu)勢(shì),卻為未來(lái)十年埋下了新的增長(zhǎng)曲線。
敢下坡,才可能換座山。
我們?cè)跊Q策中也經(jīng)常無(wú)意識(shí)選擇了通向局部最優(yōu)的路徑:每一次索職業(yè)方向,都是優(yōu)先當(dāng)前最容易轉(zhuǎn)成功的崗位,于是始終在熟悉領(lǐng)域打轉(zhuǎn);每次學(xué)習(xí)新技能,都是挑上手最快、反饋?zhàn)罴皶r(shí)的。
每一個(gè)選擇節(jié)點(diǎn)上,只關(guān)心哪個(gè)回報(bào)最快最確定,卻回避發(fā)問:這一步能不能讓我的下一個(gè)選擇更寬、更自由。越是怕走彎路,就越容易卡在一座看起來(lái)還不錯(cuò)的小山頭上。
為什么“局部最優(yōu)”難以跳出
路徑依賴帶來(lái)的結(jié)構(gòu)性鎖定
很多人以為,做選擇的是自己。但到了某一階段你會(huì)發(fā)現(xiàn):你并不是完全自主選擇路徑,而是反過來(lái)被路徑塑形。當(dāng)一個(gè)系統(tǒng)朝某方向積累得足夠多,就會(huì)產(chǎn)生自我強(qiáng)化效應(yīng):越往前走,越難調(diào)頭;越表現(xiàn)優(yōu)秀,越難逃脫原位。看似自主,實(shí)則早已被生態(tài)、反饋、身份綁定。
比如,一個(gè)操作系統(tǒng)一旦用戶量夠大、生態(tài)成型,開發(fā)者就只能為它開發(fā),而不再考慮更優(yōu)系統(tǒng);一個(gè)城市一旦選錯(cuò)了交通模式,想基建轉(zhuǎn)型也需要巨大的代價(jià);企業(yè)中越搭越復(fù)雜的數(shù)據(jù)架構(gòu),最后已不是為了效率存在,而是為了不徹底崩壞只好一直運(yùn)轉(zhuǎn)下去。
結(jié)構(gòu)鎖定可怕的地方在于,會(huì)讓你越來(lái)越無(wú)法忍受「短期無(wú)反饋」。你若曾經(jīng)在某條路徑上收獲回報(bào),建立起成就感,當(dāng)站在潛在更優(yōu)但短期看不到成功的路上時(shí),你會(huì)本能地覺得劃不來(lái)。哪怕是學(xué)習(xí)新技能、寫作、職業(yè)探索,也會(huì)本能地反問:“做這個(gè)能帶來(lái)什么?” 如果答案不是立刻可見的回報(bào),你就很難產(chǎn)生行動(dòng)的動(dòng)力。
同樣,系統(tǒng)也會(huì)反過來(lái)強(qiáng)化你的身份。
你越在一個(gè)點(diǎn)往前走,系統(tǒng)對(duì)你的定義越強(qiáng):“報(bào)表專家”,“XX高手”,…… 這些標(biāo)簽一旦形成,你就會(huì)開始為他人的期望服務(wù),而不是為真實(shí)的自我探索服務(wù)。
此外,我們對(duì)「潛在失去」的感知也遠(yuǎn)遠(yuǎn)大于對(duì)「可能獲得」的渴望。你可能已經(jīng)在某個(gè)階段意識(shí)到當(dāng)前路徑的局限,但腦海中會(huì)不斷預(yù)演:如果失敗,會(huì)不會(huì)連現(xiàn)有的都保不住?
在正反饋的依賴、標(biāo)簽強(qiáng)化、風(fēng)險(xiǎn)厭惡的作用下,你已經(jīng)很難自主選擇跳出,而是整個(gè)系統(tǒng)強(qiáng)迫你持續(xù)選擇當(dāng)下最優(yōu)。于是,你會(huì)一直選擇繼續(xù)做自己最擅長(zhǎng)的事,即便在這條路上的投入已經(jīng)正在逐步失去它們的邊際價(jià)值。
那么,我們?cè)撊绾翁雎窂芥i死的局面?
跳出鎖死的方法:泛化能力
在機(jī)器學(xué)習(xí)中,與過擬合相對(duì)的是泛化能力。指的是一個(gè)優(yōu)秀的模型,不僅能在訓(xùn)練集上表現(xiàn)良好,面對(duì)未知也依然穩(wěn)定有效。
關(guān)鍵在于不是死記套路,而是學(xué)到規(guī)律。人也是一樣。要跳出路徑鎖死、避免陷入局部最優(yōu),不能靠背熟答案,而是鍛煉泛化的能力,使得從舊經(jīng)驗(yàn)中抽象出的底層方法,遷移到全新的環(huán)境里依然奏效。
三種策略,從局部跳向全局:
1. 引入新變量打破慣性
在模擬退火算法中,為了跳出局部最優(yōu),系統(tǒng)會(huì)主動(dòng)引入擾動(dòng),跳出原有軌跡。生活中,我們同樣需要主動(dòng)打開新的可能性。
比如:
- 每月試做一件完全不在舒適區(qū)的事,比如和跨領(lǐng)域的人對(duì)話、新技能探索、嘗試副業(yè);
- 打破一些固定慣性,比如換一條上班路線、參加一場(chǎng)陌生聚會(huì)、在不同平臺(tái)表達(dá)自己。
2. 從終點(diǎn)反推,重新評(píng)估路徑
定期更新并審視當(dāng)前的北極星目標(biāo),比如是財(cái)富、創(chuàng)造力、效率或是自由。 從終點(diǎn)反推,回看當(dāng)前所在的位置。只有不斷對(duì)著整體地圖審視自己的路徑,才能識(shí)別是否正卡在一個(gè)看起來(lái)還不錯(cuò)的小高地。
3. 培養(yǎng)抽象-遷移能力
跳出局部最優(yōu)的關(guān)鍵是提升經(jīng)驗(yàn)的可遷移性。比如:
- 做科研時(shí)訓(xùn)練的邏輯思辨和論證能力,在商業(yè)環(huán)境中也能用于談判和決策;
- 學(xué)一門外語(yǔ)時(shí),其中的記憶方式和語(yǔ)義理解系統(tǒng)也能用于學(xué)其他語(yǔ)言;
- 在健身過程中養(yǎng)成的“目標(biāo)-分解-反饋”機(jī)制,也能遷移到備考、學(xué)習(xí)新技能等。
我們常被那些「看起來(lái)還不錯(cuò)」的路徑困住,在老路上過擬合。因?yàn)樗鼈円烟菀讕?lái)熟悉的滿足感,以至于我們慢慢失去了對(duì)更優(yōu)的追問。跳出局部最優(yōu)是學(xué)會(huì)不斷刷新自己對(duì)更好的定義,也能夠允許自己階段性掉線,在無(wú)反饋的道路中探索穿行。
有時(shí),轉(zhuǎn)彎并非離開,而是為了更好地抵達(dá)。
end
參考資料:
[1] Predictive coding in the brain: Functional implicationsFriston, K.Nature Reviews Neuroscience (2005)
https://www.nature.com/articles/nrn1530
[2] Path dependence, lock-in, and history. David, P. A.
Journal of Economic Perspectives (1985)
https://www.jstor.org/stable/2138761https://bytehouse.cn/blog/tiktok-reinforcement-learning-recommendations/
[3] When good performance backfires: Success-induced rigidity in strategic decision making. Audia, G., Locke, E. & Smith, K.
https://www.sciencedirect.com/science/article/abs/pii/S0749597808000573
[4] The Optimization Paradox: Why better solutions often require worse decisions
Medium – Towards Data Science
https://medium.com/towards-data-science/the-optimization-paradox-6c158f40de10
來(lái)源:DataCafe
編輯:紫竹小筑
轉(zhuǎn)載內(nèi)容僅代表作者觀點(diǎn)
不代表中科院物理所立場(chǎng)
如需轉(zhuǎn)載請(qǐng)聯(lián)系原公眾號(hào)
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.