在我看來(lái),2025年絕對(duì)能稱得上是中文大模型的顛覆之年。
DeepSeek的橫空出世,不僅打破了英偉達(dá)主導(dǎo)的“算力決定一切”的刻板印象,也打破了美國(guó)在大模型領(lǐng)域的長(zhǎng)期主導(dǎo)地位,甚至一度挑起了全球大模型領(lǐng)域的價(jià)格戰(zhàn),讓更多的人能夠體驗(yàn)到大模型帶來(lái)的樂(lè)趣。
至少?gòu)亩兑?、快手上的反?yīng)來(lái)看,對(duì)普羅大眾而言,DeepSeek的出現(xiàn)確實(shí)把“人工智能”這樣一個(gè)遙不可及的概念帶到了人們身邊。
哪怕是我這個(gè)浸淫大模型兩年半的雷科技練習(xí)生,在過(guò)年期間不僅沒(méi)少給身邊的父母親戚介紹這DeepSeek到底是什么,自己也是時(shí)不時(shí)就拿起手機(jī)來(lái)玩一下,沒(méi)辦法,能在不要錢的基礎(chǔ)上提供這種問(wèn)答質(zhì)量的中文大模型,目前也就DeepSeek能做到了。
要說(shuō)有什么問(wèn)題嘛,還得是這服務(wù)器的問(wèn)題了。
特別是我這邊發(fā)出請(qǐng)求,然后看著DeepSeek在那里轉(zhuǎn)個(gè)半天,最終卻只能憋出個(gè)“服務(wù)器繁忙,請(qǐng)稍后再試”的時(shí)候,那種挫敗感是真的難受,讓人迫切想要在本地部署一個(gè)屬于自己的DeepSeek推理模型。
問(wèn)題就出在成本上,按照常理來(lái)說(shuō),想要購(gòu)入一臺(tái)能在本地運(yùn)行大模型的設(shè)備,那要不就是售價(jià)在5000元以上的AI PC筆記本,要不就得自己著手去裝配一臺(tái)搭載獨(dú)立顯卡的整機(jī),不管哪個(gè)選擇對(duì)普通消費(fèi)者來(lái)說(shuō)都不夠友好。
不過(guò)將預(yù)算壓縮到極致,然后搭配出一套「能用」的主機(jī),正是每一位DIY玩家的終極樂(lè)趣,而這給我?guī)?lái)的挑戰(zhàn)就是,如果真的想弄一臺(tái)可以本地運(yùn)行DeepSeek模型的電腦,到底需要多少錢?
我的答案是,400元。
盡管近期正經(jīng)的內(nèi)存和硬盤有價(jià)格上漲的趨勢(shì),但是在洋垃圾這邊其實(shí)價(jià)格變化倒是不大,甚至一批早年的洋垃圾CPU和礦卡GPU還有價(jià)格下跌的趨勢(shì)。在如今大模型潮流席卷而來(lái)的背景下,我甚至不準(zhǔn)備拘泥于辦公影音需求,決定挑戰(zhàn)一下用四百塊錢的預(yù)算,試著去打造出一套性價(jià)比頗高的入門級(jí)本地大模型主機(jī)。
至于具體應(yīng)該怎么操作,最終成效是否如意,跟著我一起看下去自然就知道了。
越陳越香的洋垃圾
既然說(shuō)了要在400塊內(nèi)搞定,那么如何在盡量低的價(jià)錢內(nèi)完成整機(jī)的裝配就變得至關(guān)重要了。
在CPU的選擇上,我直接從PDD上撿了一顆Intel? Core?i3-4170,售價(jià)22元。
該處理器為二核四線程,3.7GHz主頻,沒(méi)有睿頻能力,具備3MB智能緩存,采用22nm制程工藝的Haswell架構(gòu),而它最大的特點(diǎn)就是擁有一顆HD4400核顯,這也是我選擇它的關(guān)鍵。
(圖源:PDD)
俗話說(shuō)得好,低價(jià)U配低價(jià)板嘛。
所以主板的話,我就選擇購(gòu)入了一塊銘瑄MS-H81M Turbo,只有兩根DDR3內(nèi)存插槽不說(shuō),甚至都沒(méi)有HDMI輸出接口,也沒(méi)有M2硬盤位,USB 3.0、SATA III接口都只有兩個(gè),但是它在PDD上面只要79塊錢。
這加起來(lái)僅需100左右的板U套裝,性價(jià)比放在今時(shí)今日也是出類拔萃的。
(圖源:雷科技)
這種CPU,散熱就不用太擔(dān)心了。
PDD上面14.9包郵寄過(guò)來(lái)的雙熱管風(fēng)冷散熱器,雖然外觀上是丑了一點(diǎn),簡(jiǎn)陋了一點(diǎn),但是用來(lái)壓我這一套超低價(jià)配置肯定是綽綽有余了。
(圖源:雷科技)
至于顯卡嘛,近期閑魚(yú)上面流出了一大堆P106-090和P106-100礦卡,其中前者的價(jià)格普遍在70塊錢左右,后者的價(jià)格普遍在120-140塊錢左右。
兩者之間最大的差別在顯存上,P106-090僅有3GB顯存,而P106-100則有6GB顯存,盡管我這次的初衷并不是為了游戲而來(lái),但是更高的顯存規(guī)格確實(shí)可以運(yùn)行更高效的本地大模型,所以我最終還是拿下了一張技嘉的P106-100,售價(jià)130元。
(圖源:雷科技)
最后,給它簡(jiǎn)單配上兩根雜牌DDR3內(nèi)存,組成內(nèi)存雙通道,用一個(gè)300W長(zhǎng)城電源供電,一塊120GB SATA SSD做系統(tǒng)盤,用上次裝機(jī)剩下來(lái)的大水牛硅脂湊合湊合,最后再配上個(gè)20塊錢的電腦城小機(jī)箱...
完成!請(qǐng)欣賞一下我用四百元裝機(jī)的成果吧。
(圖源:雷科技)
然后是我給出的參考價(jià)格表,感興趣的大伙也可以試著照這張表格上的配置自己配一下,總之價(jià)格上不會(huì)差太多。
你要是更追求性價(jià)比的話,甚至把機(jī)箱換鞋盒也不是什么大問(wèn)題。
(圖源:雷科技)
裝機(jī)完成,點(diǎn)亮主機(jī)!
先做個(gè)簡(jiǎn)單的性能測(cè)試,作為多年服役的老將,Intel? Core?i3-4170的性能也就那樣,即便是在用TrottlesStop解鎖功耗的情況下,也就差不多相當(dāng)于移動(dòng)端酷睿六代、酷睿七代處理器的水平。
(圖源:雷科技)
在實(shí)測(cè)環(huán)節(jié)中,CPU-Z測(cè)試單核跑分有373.4分,多核跑分有1025.2分,在CINEBENCH測(cè)試標(biāo)準(zhǔn)下,CINEBENCH R20多核824cb、單核346cb,CINEBENCH R23多核1914cb、單核905cb。
亮眼肯定是不夠亮眼,但是拿來(lái)日常辦公、輕度娛樂(lè)倒是夠了。
(圖源:雷科技)
再看看GPU部分,我手上這張技嘉P106-100采用16nm工藝打造,顯卡核心為GP106,核心頻率為1506MHz,可提升到1709MHz,具有1280個(gè)著色單元,支持DirectX12,顯存規(guī)格為6144MB/192Bit GDDR5內(nèi)存,顯存頻率可達(dá)2002MHz。
在測(cè)評(píng)DX11性能的Fire Strike測(cè)試中,P106-100在Extreme測(cè)試中取得了6490分的圖形分?jǐn)?shù);在測(cè)評(píng)DX12性能的TimeSpy測(cè)試中,P106-100在基本測(cè)試中取得了4428分的圖形分?jǐn)?shù)。
(圖源:雷科技)
這個(gè)性能表現(xiàn)和GTX1060差不多,甚至能和移動(dòng)端RTX 3050碰一碰了。
存儲(chǔ)方面,我們斥資40元購(gòu)入的這塊雜牌128GB SATA SSD硬盤,順序讀寫(xiě)速度達(dá)到505.24MB/s和369.63MB/s,隨機(jī)4K讀寫(xiě)達(dá)到132.06MB/s和246.55MB/s,雖然和M2 SSD硬盤沒(méi)得比,但是作為系統(tǒng)啟動(dòng)盤肯定是綽綽有余了。
(圖源:雷科技)
至于這對(duì)雙通道的DDR3內(nèi)存,使用AIDA64進(jìn)行內(nèi)存緩存測(cè)試,測(cè)得的讀取速度為18557MB/s,寫(xiě)入速度為19889MB/s,復(fù)制速度為17914MB/s,延遲為67.2ns,給這臺(tái)電腦用可以說(shuō)是剛剛好。
(圖源:雷科技)
百元機(jī),用上DeepSeek
既然目的是在幾百塊錢的預(yù)算下,打造出一套可用的本地DeepSeek主機(jī),那么體驗(yàn)肯定是我們最關(guān)注的一環(huán)。
首先,要說(shuō)真正的DeepSeek-R1,那便只有一個(gè)版本,即671B的原始版本,其中包含大量的參數(shù),推理精度確實(shí)高,但需要大量計(jì)算資源,而且顯存至少為1342GB。
(圖源:HuggingFace)
這顯然是P106-100承受不起的,也沒(méi)有哪張消費(fèi)級(jí)顯卡能承擔(dān)得起就是了,官方推薦的方法是用16張NVDIA-A100 80GB顯卡,或者是組成Mac電腦集群,用高速度的統(tǒng)一內(nèi)存去跑。
像我們這種消費(fèi)級(jí)顯卡,就只能用“蒸餾模型”。
所謂蒸餾模型,可以看成“老師教學(xué)生”,通過(guò)知識(shí)蒸餾,教更精簡(jiǎn)的模型學(xué)會(huì)復(fù)制較大模型的行為,擴(kuò)充性能,減少資源需求,而用DeepSeek-R1蒸餾的話,主要就是給這些模型加入“深度推理”的概念。
再降低一下模型精度,就能看到我們能夠部署的蒸餾模型。
(圖源:HuggingFace)
然后根據(jù)Unsloth提供的報(bào)告,DeepSeek-R1-Distil-Qwen-7B是符合需求的蒸餾模型中表現(xiàn)最出色的,各方面測(cè)試成績(jī)均超越了理論參數(shù)更多的DeepSeek-R1-Distil-Llama-8B。
那么我們今天要部署的,自然就是DeepSeek-R1-Distil-Qwen-7B。
目前想在PC本地部署DeepSeek有兩種辦法,其中最常見(jiàn)的應(yīng)該是Ollama+Chatbox AI的組合。
所謂Ollama,其實(shí)就是一款比較流行的本地大模型服務(wù)端工具,部署起來(lái)也很簡(jiǎn)單,只要在Ollama官網(wǎng)搜索DeepSeek-r1,下面就會(huì)有不同大小的蒸餾模型渲染,然后搭配客戶端啟動(dòng)就行了。
(圖源:Ollama)
安裝后,Ollama一般就在本地的11434端口開(kāi)啟服務(wù)了,但此時(shí)你只能在終端中進(jìn)行交互,但是要獲得像DeepSeek官網(wǎng)一樣的體驗(yàn),還是需要額外的前端客戶端才行。
而Chatbox AI,就是最常見(jiàn)的一款前端產(chǎn)品。
不同于服務(wù)端的純文字內(nèi)容展示,Chatbox AI將大部分設(shè)置、功能進(jìn)行了圖形化,使用戶的體驗(yàn)更加直觀,而且這款產(chǎn)品支持眾多本地AI模型和API接口,自然也可以使用本地Ollama 11434端口的服務(wù)。
接入之后,大概就是這個(gè)樣子。
(圖源:雷科技)
你可以在Chatbox AI定義自己想要交互的模型人設(shè),
但要論角色扮演的話,第二種部署方法或許會(huì)更適合一點(diǎn)。
為你介紹Koblodcpp,這是一款整合Koblod.AI界面的llamacpp啟動(dòng)程序,可以運(yùn)行目前外網(wǎng)流行的GGUF格式本地大模型,甚至可以整合語(yǔ)音大模型和繪圖大模型,實(shí)現(xiàn)在對(duì)話的同時(shí),生成語(yǔ)音和對(duì)應(yīng)場(chǎng)景的效果。
只要在HF-Mirror下載對(duì)應(yīng)的大模型,然后就能用Koblodcpp啟動(dòng)了。
(圖源:雷科技)
使用Koblodcpp,你就可以加載通用格式的角色卡,實(shí)現(xiàn)和各種不同的角色對(duì)話交流的獨(dú)特體驗(yàn)。
如果這還不夠,你還能夠借助Koblodcpp的端口部署SillyTarven,后者是目前全網(wǎng)公認(rèn)的最好用的大模型角色扮演前端,能夠幫助用戶實(shí)現(xiàn)對(duì)話邏輯的定義,對(duì)用戶自身人設(shè)的定義,加載補(bǔ)充世界觀的Lorebook和載入圖片、動(dòng)圖以及互動(dòng)代碼來(lái)完善角色扮演體驗(yàn)。
甚至...可以讓DeepSeek實(shí)現(xiàn)破限,做到一些云端大模型做不到的事情。
簡(jiǎn)單介紹完部署方法后,接下來(lái)就該進(jìn)入實(shí)測(cè)環(huán)節(jié)了。
用一些常規(guī)問(wèn)題和它進(jìn)行交互,就能看到詳細(xì)的推理過(guò)程,應(yīng)付一些正經(jīng)的初高中語(yǔ)文、數(shù)學(xué)、英語(yǔ)問(wèn)題,本地部署的DeepSeek體驗(yàn)起來(lái)還是不錯(cuò)的。
(圖源:雷科技)
詢問(wèn)一些關(guān)公戰(zhàn)秦瓊的問(wèn)題,文學(xué)創(chuàng)作能力看起來(lái)也不賴。
(圖源:雷科技)
不過(guò)在比較復(fù)雜的數(shù)學(xué)、邏輯難題里,本地部署的DeepSeek表現(xiàn)就比較一般了,有不少邏輯推理題甚至?xí)霈F(xiàn)算不出答案的情況。
(圖源:雷科技)
因?yàn)闆](méi)有聯(lián)網(wǎng)的緣故,目前本地部署的DeepSeek模型的知識(shí)庫(kù)是截至2023年的,沒(méi)有比較新鮮的素材,因此一些有時(shí)效性的問(wèn)題自然無(wú)法作答。
(圖源:雷科技)
至于速度的話,在限制回復(fù)長(zhǎng)度為1024代幣的情況下,應(yīng)付一道高中數(shù)學(xué)題的思考過(guò)程為127s(即兩分鐘)左右,這個(gè)速度和原版DeepSeek之間差別不大,深度思考的特性讓本地和云端的體驗(yàn)大大拉近。
(圖源:雷科技)
當(dāng)然了,因?yàn)樗伎继L(zhǎng)的原因,本地部署的DeepSeek確實(shí)就不大適合聊天用了,喜歡聊天的建議更換Casuallm大模型進(jìn)行體驗(yàn)。
總結(jié):低配置也能跑,但穩(wěn)定性欠佳
優(yōu)點(diǎn):
1、成本預(yù)算低廉;
2、確實(shí)能運(yùn)行本地大模型。
缺點(diǎn):
1、二手零部件無(wú)保障;
2、礦卡驅(qū)動(dòng)非常容易掉,白屏問(wèn)題時(shí)有發(fā)生。
論性能,這款預(yù)算不到400元的電腦主機(jī)其實(shí)還不錯(cuò)。
盡管CPU規(guī)格老舊、礦卡表現(xiàn)不穩(wěn)定,但是這臺(tái)廉價(jià)主機(jī)確實(shí)能完成DeepSeek本地大模型的部署,在組裝完成后的這段時(shí)間里,它一度成為公司局域網(wǎng)內(nèi)部的AI終端,還可以部署本地AI繪圖等一系列能力,算是實(shí)至名歸的AI PC。
雖然沒(méi)有具體測(cè)試,但是近4500分的TimeSpy圖形分,即便是《孤島驚魂6》這樣的3A大作,這款機(jī)子也能在FHD低畫(huà)質(zhì)下保證60幀穩(wěn)定運(yùn)行,應(yīng)付《英雄聯(lián)盟》這類網(wǎng)游應(yīng)該是綽綽有余的,也可以當(dāng)一臺(tái)入門的游戲主機(jī)來(lái)用。
說(shuō)是這么說(shuō),問(wèn)題當(dāng)然還是有的。
先說(shuō)這臺(tái)機(jī)子,為了搞好這臺(tái)機(jī)子我也是前后折騰了半天。P106-100這張礦卡多次出現(xiàn)掉驅(qū)動(dòng)導(dǎo)致電腦白屏,需要用DDDU卸載驅(qū)動(dòng)再重裝的情況,至于那個(gè)二手電源后面直接癱瘓了,還得去PDD上面扯皮商家才肯換貨。
目前閑魚(yú)上面還有不少和我組裝起來(lái)的這臺(tái)機(jī)子配置類似的洋垃圾整機(jī),售價(jià)普遍在350-400元左右,目標(biāo)受眾很明顯是剛上大學(xué)或者走出社會(huì)的年輕群體,個(gè)人建議大伙別去購(gòu)買這些產(chǎn)品,一分錢一分貨可不是開(kāi)玩笑的。
再說(shuō)說(shuō)DeepSeek,目前市面上所有的本地DeepSeek部署教程,包括我們?cè)趦?nèi),實(shí)際上部署的都是經(jīng)過(guò)DeepSeek蒸餾的通義千問(wèn)模型,回答一些基礎(chǔ)問(wèn)題,簡(jiǎn)單測(cè)試深度思考還行,復(fù)雜一點(diǎn)的邏輯思考能力,這本地部署的版本和全參數(shù)的版本之間的差別可不是一星半點(diǎn)。
只能說(shuō),真要想追求不卡的全參數(shù)DeepSeek體驗(yàn),整個(gè)API接口可能是更加合理的方法。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.