LoRA（Low-Rank Adaptation）是一種用于微調(diào)大型預(yù)訓(xùn)練模型的技術(shù)，旨在高效地適應(yīng)特定任務(wù)，同時(shí)減少計(jì)算和存儲(chǔ)開銷。

預(yù)訓(xùn)練模型：如DeepSeek、BERT、GPT等，已在大量數(shù)據(jù)上訓(xùn)練，具備廣泛的語(yǔ)言理解能力。

微調(diào)：為適應(yīng)特定任務(wù)，通常需要對(duì)整個(gè)模型進(jìn)行微調(diào)，但這種方法計(jì)算和存儲(chǔ)成本高。

雖然這種微調(diào)技術(shù)已經(jīng)成功使用了很長(zhǎng)時(shí)間，但在用于更大的模型時(shí)——例如大語(yǔ)言模型（LLM），就會(huì)出現(xiàn)問題，主要因?yàn)椋?/p>

• 模型的大小。

• 微調(diào)所有權(quán)重的成本。

• 維護(hù)所有微調(diào)后的大模型的成本。

LoRA 微調(diào)解決了傳統(tǒng)微調(diào)的局限性。

1.LoRA的核心思想

核心思想是將原始模型的權(quán)重矩陣（部分或全部）分解為低秩矩陣，并訓(xùn)練這些矩陣。

只更新少量參數(shù)，而不是整個(gè)模型，從而減少計(jì)算和存儲(chǔ)需求。

如圖所示，底部網(wǎng)絡(luò)表示大型預(yù)訓(xùn)練模型，而頂部網(wǎng)絡(luò)表示帶有 LoRA 層的模型。

其核心思想是只訓(xùn)練 LoRA 網(wǎng)絡(luò)，而凍結(jié)大型模型。

2.實(shí)現(xiàn)步驟

凍結(jié)預(yù)訓(xùn)練模型：保持大部分參數(shù)不變。

引入低秩矩陣：在關(guān)鍵層（如注意力機(jī)制）添加低秩矩陣，用于捕捉任務(wù)特定的變化。

微調(diào)低秩矩陣：只訓(xùn)練這些低秩矩陣，保持原始模型參數(shù)不變。

對(duì)于需要微調(diào)的模型中的某些線性層（例如注意力層或全連接層），LoRA方法凍結(jié)原始權(quán)重，并引入兩個(gè)低秩矩陣A和B，使得模型最終使用的權(quán)重可以表示為：

W_effective = W + ΔW, 其中 ΔW = A × B

這里A和B的秩非常?。ɡ缰萺遠(yuǎn)小于輸入和輸出維度），因此只需訓(xùn)練這兩個(gè)低秩矩陣而非整個(gè)權(quán)重矩陣。

LoRA微調(diào)通過這種增量調(diào)整方式，既保留了預(yù)訓(xùn)練模型的強(qiáng)大表達(dá)能力，又實(shí)現(xiàn)了在新任務(wù)上的高效適應(yīng)，是當(dāng)前大模型微調(diào)領(lǐng)域非常流行的技術(shù)之一。

3.理解矩陣的秩

在線性代數(shù)中，矩陣的秩（Rank）是指矩陣中線性無(wú)關(guān)的行或列的最大數(shù)目。一個(gè)矩陣的秩不會(huì)超過其行數(shù)或列數(shù)的最小值。秩反映了矩陣的信息量和獨(dú)立性。

例如，對(duì)于一個(gè) m×n 的矩陣：

• 如果其秩為 r，則說(shuō)明矩陣中存在 r 個(gè)線性無(wú)關(guān)的行（或列）。

• 秩反映了矩陣的“有效維度”，低秩通常意味著矩陣的數(shù)據(jù)存在冗余，許多行或列可以通過其他行或列的線性組合來(lái)表示。

在許多應(yīng)用中，例如數(shù)據(jù)降維、低秩分解或模型壓縮中，都利用這一性質(zhì)簡(jiǎn)化問題和減少參數(shù)。

作者：架構(gòu)筆記

來(lái)源：網(wǎng)絡(luò)博客

題圖來(lái)自 Unsplash ，基于 CC0 協(xié)議， 如有侵權(quán)，請(qǐng)聯(lián)系pmtalk123刪除

“分享產(chǎn)品經(jīng)理改變世界的點(diǎn)滴”

產(chǎn)品顧問｜ 產(chǎn)品咨詢｜培訓(xùn)合作

請(qǐng)?zhí)砑游⑿?strong>PMxiaowanzi

最近我的原創(chuàng)

每日案例拆解庫(kù)，AI等產(chǎn)品打卡群

我創(chuàng)建的產(chǎn)品設(shè)計(jì)打卡社群，加入后365天，每天體驗(yàn)一款A(yù)PP。提升產(chǎn)品設(shè)計(jì)能力，同時(shí)有1300份體驗(yàn)報(bào)告幫助你找到競(jìng)品

在這里你可以隨時(shí)查詢到你想找的各類競(jìng)品行業(yè)APP，無(wú)須自己親自下載就可以馬上得到APP的一手產(chǎn)品優(yōu)化、交互設(shè)計(jì)、功能描述信息。

從優(yōu)化&建議、商業(yè)模式、運(yùn)營(yíng)、功能描述、交互設(shè)計(jì)、產(chǎn)品定位至少6個(gè)維度，體驗(yàn)一款應(yīng)用。

平均1天1塊錢，掃碼購(gòu)買即可加入

連續(xù)體驗(yàn)48款應(yīng)用，通過后原路退回

報(bào)名后添加星球助理

PMTalk123