實(shí)現(xiàn)自正交化吸引子神經(jīng)網(wǎng)絡(luò)Self-orthogonalizing attractor neural networks

描述了一類特殊的、直接從 FEP 中涌現(xiàn)的、適應(yīng)性自組織的吸引子網(wǎng)絡(luò)，而無(wú)需顯式設(shè)定的學(xué)習(xí)或推理規(guī)則。首先，我們展示了一個(gè)特定劃分的層級(jí)化表述——這一概念適用于任何復(fù)雜動(dòng)力系統(tǒng)——可以產(chǎn)生與眾所周知的人工吸引子網(wǎng)絡(luò)架構(gòu)具有相同功能形式的系統(tǒng)。其次，我們展示，針對(duì)此類系統(tǒng)的內(nèi)部狀態(tài)最小化變分自由能（VFE），可得到一種類似玻爾茲曼機(jī)的隨機(jī)更新機(jī)制，其中連續(xù)狀態(tài)的隨機(jī)霍普菲爾德網(wǎng)絡(luò)是一個(gè)特例。第三，我們展示，針對(duì)系統(tǒng)的內(nèi)部毯層或邊界狀態(tài)（耦合）最小化 VFE，會(huì)引發(fā)一種基于廣義預(yù)測(cè)編碼的學(xué)習(xí)過(guò)程。關(guān)鍵的是，這一適應(yīng)性過(guò)程不僅僅是加強(qiáng)具體的感官模式；它學(xué)會(huì)覆蓋整個(gè)關(guān)鍵模式的子空間，通過(guò)建立近似正交化的吸引子表征，系統(tǒng)可以在推理過(guò)程中組合這些表征。我們通過(guò)仿真識(shí)別出準(zhǔn)正交吸引子涌現(xiàn)的必要條件，并展示了所提出的吸引子網(wǎng)絡(luò)對(duì)未見(jiàn)數(shù)據(jù)進(jìn)行泛化的能力。最后，我們強(qiáng)調(diào)，所提出的吸引子網(wǎng)絡(luò)可以自然地生成序列吸引子（如果輸入數(shù)據(jù)以清晰的順序呈現(xiàn)），并通過(guò)自發(fā)活動(dòng)舉例說(shuō)明其持續(xù)學(xué)習(xí)能力和抵抗災(zāi)難性遺忘的潛力。最后我們討論了該框架的可檢驗(yàn)預(yù)測(cè)，并探討這些發(fā)現(xiàn)對(duì)自然智能和人工智能系統(tǒng)的廣泛意義。