2023 年的秋天，當(dāng)全世界都在為 ChatGPT 和大語言模型瘋狂的時(shí)候，遠(yuǎn)在澳大利亞悉尼的一對(duì)兄弟卻在為一個(gè)看似簡(jiǎn)單的問題發(fā)愁：為什么微調(diào)一個(gè)開源模型要花這么長時(shí)間，還要用那么昂貴的 GPU？

Daniel Han（全名是 Daniel Han-Chen）盯著屏幕上緩慢跳動(dòng)的訓(xùn)練進(jìn)度條，心里盤算著：一臺(tái)免費(fèi)的 Google Colab T4 GPU 上，訓(xùn)練一個(gè) 13B 參數(shù)的模型根本跑不起來，內(nèi)存直接爆掉。而那些商用的解決方案，動(dòng)輒需要價(jià)值數(shù)萬美元的高端顯卡。

Daniel 畢業(yè)于新南威爾士大學(xué)，此前曾在 NVIDIA 工作過一年半，專門負(fù)責(zé)算法優(yōu)化。他認(rèn)為這個(gè)問題并非無解。和弟弟 Michael Han-Chen 商量后，兩人決定：既然大公司不愿意解決這個(gè)問題，那就自己動(dòng)手。

圖丨小時(shí)候的 Daniel Han 和 Michael Han（來源：GitHub）

這個(gè)決定催生了一個(gè)改變 AI 訓(xùn)練規(guī)則的開源項(xiàng)目——Unsloth。

從 NVIDIA 出走的優(yōu)化狂人

Daniel Han 的職業(yè)生涯可以用一個(gè)詞概括：優(yōu)化。

在 NVIDIA 期間，他讓 TSNE（一種數(shù)據(jù)可視化算法）的運(yùn)行速度提升了 2000 倍，優(yōu)化了隨機(jī)奇異值分解（Randomized SVD）等多個(gè)機(jī)器學(xué)習(xí)算法。他還維護(hù)著另一個(gè)開源項(xiàng)目 Hyperlearn，這個(gè)機(jī)器學(xué)習(xí)優(yōu)化包被 NASA 和微軟的工程師使用。

圖丨Daniel Han（右）和 Michael Han（左）（來源：LinkedIn）

那段經(jīng)歷讓他看清了一個(gè)事實(shí)：當(dāng)前 AI 軟件棧的性能瓶頸，很大程度上是軟件問題而非硬件問題。PyTorch、TensorFlow 這些框架為了通用性做了大量妥協(xié)——為了支持各種硬件和模型架構(gòu)，實(shí)現(xiàn)必然不是最優(yōu)的。如果針對(duì)特定場(chǎng)景深度定制，性能提升空間巨大。

但真正讓他決心投身開源硬件優(yōu)化的，是一個(gè)更宏大的愿景?！癘penAI 和 Anthropic 這些大公司想通過更大的模型、更多的數(shù)據(jù)、更強(qiáng)的算力來實(shí)現(xiàn) AGI，”Daniel 說，“而我們相信，通過更高效的模型、更快的訓(xùn)練方法、更少的資源消耗，也能讓 AGI 惠及每一個(gè)人?！?/strong>

2023 年 10 月，他們參加了歐洲的 LLM 效率挑戰(zhàn)賽（LLM Efficiency Challenge）。比賽規(guī)則是在 24 小時(shí)內(nèi)用一塊 GPU 訓(xùn)練一個(gè)語言模型，看誰能獲得最高準(zhǔn)確率。但兄弟倆換了個(gè)思路——與其拼準(zhǔn)確率，不如讓訓(xùn)練本身變得更快。

“我用的是 Colab 和 Kaggle 的免費(fèi) GPU，T4 實(shí)在太慢了，有時(shí)候連 13B 的模型都裝不下，”Daniel 回憶道。通過一系列底層優(yōu)化，他們成功讓訓(xùn)練速度提升了 2 倍，內(nèi)存使用減少了 50%，而且完全沒有精度損失。這個(gè)副產(chǎn)品式的成果，最終在 2023 年 12 月以開源項(xiàng)目的形式被發(fā)布，取名 Unsloth——意為“unslothing”，讓 AI 訓(xùn)練不再緩慢如樹懶。

（來源：Unsloth）

沒有營銷預(yù)算，沒有豪華團(tuán)隊(duì)。他們只是把代碼放在 GitHub 上，在 Reddit 的 AI 開發(fā)者社區(qū)發(fā)了一條帖子。第一周就有上千名開發(fā)者試用。最常見的質(zhì)疑是：“速度快兩倍還不損失精度？怎么可能？”

Daniel 的回應(yīng)非常簡(jiǎn)單：把所有技術(shù)細(xì)節(jié)公開。他在博客上詳細(xì)解釋手動(dòng)推導(dǎo)反向傳播的數(shù)學(xué)過程，展示 Triton 內(nèi)核的源代碼，甚至把性能測(cè)試的完整日志都放出來。懷疑者開始認(rèn)真閱讀代碼，復(fù)現(xiàn)測(cè)試，發(fā)現(xiàn)結(jié)果確實(shí)如此。

為開源 LLMs 修 Bug

真正讓 Unsloth 聲名大噪的，是他們 2024 年 3 月對(duì) Google Gemma 模型的“手術(shù)”。

Gemma 發(fā)布后，社區(qū)很快發(fā)現(xiàn)問題：訓(xùn)練時(shí)表現(xiàn)異常，損失值不收斂，微調(diào)效果差得出奇。論壇上出現(xiàn)各種猜測(cè)，但沒人能給出確定答案。

Daniel 在集成 Gemma 到 Unsloth 時(shí)，發(fā)現(xiàn)的不是一個(gè) bug，而是一串 bug。分詞器有問題，位置編碼計(jì)算不對(duì)，連基礎(chǔ)的數(shù)值精度處理都有紕漏。他花三天時(shí)間，把 8 個(gè) bug 的根源、觸發(fā)條件和修復(fù)方案全部整理成文檔，配有數(shù)學(xué)推導(dǎo)、性能對(duì)比和測(cè)試結(jié)果。

然后全部公開發(fā)布。

博客發(fā)布幾小時(shí)后，社區(qū)上就有許多轉(zhuǎn)載。Andrej Karpathy 轉(zhuǎn)發(fā)評(píng)論：“這就是深入理解深度學(xué)習(xí)棧每一層的價(jià)值。”Google 團(tuán)隊(duì)隨后確認(rèn)了這些 bug，采納修復(fù)方案，并在更新日志里致謝。

圖丨相關(guān)推文（來源：X）

類似的事情在接下來一年反復(fù)上演。Meta 的 Llama 3、微軟的 Phi-4、阿里 Qwen 2.5，每次重磅模型發(fā)布，Unsloth 都會(huì)迅速跟進(jìn)，找出問題，公開方案。2024 年 10 月，他們甚至修復(fù)了一個(gè)影響所有訓(xùn)練框架的通用 bug——梯度累積的實(shí)現(xiàn)錯(cuò)誤，被合并到 Hugging Face Transformers 主分支，惠及了全球數(shù)百萬 AI 開發(fā)者。

“當(dāng)我們?cè)谝浦残履Ｐ蜁r(shí)，如果發(fā)現(xiàn)自己的實(shí)現(xiàn)比官方版本效果更好，我們就知道肯定哪里出問題了，”Daniel 解釋了他們的發(fā)現(xiàn)過程。這種對(duì)技術(shù)細(xì)節(jié)的執(zhí)著和對(duì)開源社區(qū)的責(zé)任感，讓 Unsloth 贏得了業(yè)界的尊重。Hugging Face 很快與他們建立了合作關(guān)系，在官方文檔中推薦使用 Unsloth 來解決速度和內(nèi)存問題。AWS、Intel 等大公司也主動(dòng)接觸，希望將 Unsloth 移植到自己的硬件平臺(tái)上。

重寫自動(dòng)求導(dǎo)引擎

Unsloth 的核心創(chuàng)新在于對(duì)深度學(xué)習(xí)訓(xùn)練流程的徹底重構(gòu)。大多數(shù)工程師會(huì)滿足于使用 PyTorch 提供的自動(dòng)求導(dǎo)功能，但 Daniel 認(rèn)為這還不夠。

“PyTorch 的 autograd 對(duì)大多數(shù)任務(wù)來說已經(jīng)足夠高效，但如果你想要極致性能，就必須自己推導(dǎo)矩陣微分，”Daniel 選擇為所有計(jì)算密集型操作手工推導(dǎo)矩陣微分步驟。

舉例來說，在注意力機(jī)制與低秩適應(yīng)（LoRA, Low-Rank Adaptation）結(jié)合時(shí)，標(biāo)準(zhǔn)方法需要計(jì)算 6 個(gè)矩陣的導(dǎo)數(shù)。如果按照常規(guī)方式，計(jì)算 output = X × W + X × (A × B) 需要三次矩陣乘法和兩個(gè)中間變量存儲(chǔ)。但 Daniel 通過代數(shù)變換優(yōu)化為 output = X × (W + A × B)——先計(jì)算小矩陣 W + A × B，最后只與大矩陣 X 相乘一次。

這種看似簡(jiǎn)單的代數(shù)技巧，單獨(dú)貢獻(xiàn)了約 4-6% 的速度提升。更關(guān)鍵的是，它顯著減少了 GPU 顯存占用。因?yàn)?LoRA 權(quán)重矩陣通常只有 8 到 128 的維度，而 Llama 系列模型的權(quán)重維度是 4096 或更大，正確放置括號(hào)能將浮點(diǎn)運(yùn)算次數(shù)減少數(shù)個(gè)數(shù)量級(jí)。

兄弟倆還用 OpenAI 的 Triton 語言重寫了所有關(guān)鍵計(jì)算內(nèi)核，包括 RoPE（Rotary Position Embedding）位置編碼、RMS 層歸一化（Root Mean Square Layer Normalization）、交叉熵?fù)p失函數(shù)等。這些手寫的內(nèi)核不僅更快，代碼也更清晰易讀。

此外，還有他們獨(dú)創(chuàng)的“動(dòng)態(tài)量化”技術(shù)。標(biāo)準(zhǔn)的 4-bit 量化會(huì)壓縮所有層，但 Unsloth 能識(shí)別出對(duì)模型精度影響大的敏感層，在這些層保持高精度，從而在大幅節(jié)省顯存的同時(shí)保持模型性能。

但在所有優(yōu)化中，內(nèi)存減少才是 Unsloth 最大的優(yōu)勢(shì)。Daniel 反復(fù)強(qiáng)調(diào)這一點(diǎn)：“我們百分之七十到八十的內(nèi)存減少才是最重要的。不是速度，而是內(nèi)存?！彪S著模型規(guī)模不斷增大，內(nèi)存瓶頸比計(jì)算速度更容易成為制約因素。一個(gè) 16GB 顯存的 T4 GPU，在標(biāo)準(zhǔn)訓(xùn)練流程下連 130 億參數(shù)的模型都無法完整加載，但使用 Unsloth 后，48GB 顯存的 GPU 就能訓(xùn)練 700 億參數(shù)的 Llama 3 模型。

圖丨在 SlimOrca 數(shù)據(jù)集的測(cè)試結(jié)果（來源：Unsloth）

測(cè)試結(jié)果顯示，在單塊 Tesla T4 GPU 上，使用 Hugging Face 標(biāo)準(zhǔn)實(shí)現(xiàn)訓(xùn)練 Alpaca 數(shù)據(jù)集需要 23 小時(shí) 15 分鐘，而 Unsloth 的 Max 版本只需要 2 小時(shí) 34 分鐘，相當(dāng)于 8.8 倍的速度提升。在 SlimOrca 數(shù)據(jù)集上，391 小時(shí)被壓縮到 51 小時(shí)。內(nèi)存使用方面，峰值從 16.7GB 降到 6.9GB，減少了 59%。

從邊緣走向中心

這一波 AI 浪潮中，模型的參數(shù)量不段擴(kuò)大，從最初幾十億到如今的上萬億的參數(shù)量，規(guī)模膨脹了上百倍，給個(gè)人開發(fā)者和小團(tuán)隊(duì)帶來了巨大壓力——要么付費(fèi)使用閉源 API，要么購買昂貴的硬件。而 Unsloth 讓第三條路成為可能。一臺(tái)消費(fèi)級(jí)顯卡，比如 RTX 4090，配合 Unsloth 就能完成以前需要數(shù)據(jù)中心級(jí)別硬件才能做的微調(diào)任務(wù)。

截至今天，Unsloth 在 GitHub 上的星標(biāo)已超過 4 萬（目前約 47,500），每月模型下載量超過 200 萬次。來自中國、智利、尼加拉瓜、危地馬拉、印度、意大利、土耳其等國的開發(fā)者，已經(jīng)基于 Unsloth 框架微調(diào)出超過 110 個(gè)模型應(yīng)用。

這種普及帶來了意想不到的效果。除了能讓各行各業(yè)都能更輕松地訓(xùn)練出屬于自己的專有模型，Daniel 還提到了一個(gè)最讓他驕傲的用例：“語言翻譯。大多數(shù)大語言模型只在特定語言集上預(yù)訓(xùn)練，很多只支持英語。但我們看到很多來自母語非英語國家的開發(fā)者，用 Unsloth 把英語模型轉(zhuǎn)換成他們的本地語言?！?/p>

從日語到印尼語，從韓語到各種印度地方語言，Unsloth 讓模型本地化變得觸手可及。在他們的 GitHub 倉庫中，有一個(gè)專門的韓語翻譯示例筆記，詳細(xì)展示了如何將英語模型轉(zhuǎn)換為韓語模型。這個(gè)看似簡(jiǎn)單的功能，卻讓全球數(shù)十億非英語使用者第一次真正擁有了自己語言的 AI 工具。

開源的力量

回顧 Unsloth 的發(fā)展歷程，開源始終是核心。為了維持項(xiàng)目的可持續(xù)性，他們提供了 Pro 和 Max 兩個(gè)付費(fèi)版本，前者支持多 GPU 訓(xùn)練和更多優(yōu)化，后者還包括從零開始訓(xùn)練大模型的內(nèi)核，并能將代碼移植到 AMD 和英特爾 GPU 上。但核心的開源版本始終保持免費(fèi)?！伴_源最大的價(jià)值是信任，”Daniel 說，“AI 領(lǐng)域最大的問題就是信任。如果你做開源，每個(gè)人都能檢查你的代碼，貢獻(xiàn)改進(jìn)，發(fā)現(xiàn)并修復(fù) bug。”

兄弟倆的 Discord 社區(qū)異?；钴S，GitHub Issues 中充滿了用戶的改進(jìn)建議和 bug 報(bào)告?！拔覀兊?Discord 服務(wù)器上，每個(gè)人都很友好，”Michael 說，“大家喜歡互相幫助，討論自己熱愛的東西。開源社區(qū)就是這樣一個(gè)讓志同道合的人聚在一起的地方。”

這種開放協(xié)作的氛圍也影響了他們的產(chǎn)品規(guī)劃。“當(dāng)所有人都在要求某個(gè)功能時(shí)，我們就會(huì)去實(shí)現(xiàn)它，”Daniel 表示，“如果是閉源產(chǎn)品，很難決定先做哪個(gè)功能。開源讓用戶需求變得透明?！?/p>

目前，Unsloth 已經(jīng)支持了 Llama 系列、Mistral、Gemma 系列、Phi 系列、Qwen 系列、DeepSeek 系列等主流開源模型。“我們的首要目標(biāo)始終是開源，”Michael 強(qiáng)調(diào)，“讓所有模型都能用上我們的優(yōu)化技術(shù)，而不只是少數(shù)幾個(gè)?！?/p>

“當(dāng)大公司用 100,000 塊 H100 訓(xùn)練模型時(shí)，我們要證明，用更少的資源、更聰明的方法，也能讓 AI 惠及每一個(gè)人?！盌aniel 說。

參考資料：

1.https://unsloth.ai/introducing

2.https://unsloth.ai/blog/reintroducing

3.https://www.youtube.com/watch?v=6t2zv4QXd6c

4.https://www.youtube.com/watch?v=lyVxD0bJDOk

5.https://www.youtube.com/watch?v=z9f4bEgFZCg

運(yùn)營/排版：何晨龍