因?yàn)槲以谟?jì)算機(jī)博士做研究的需要，AI模型訓(xùn)練就一直離不開(kāi)我的工作內(nèi)容，同時(shí)AI產(chǎn)品精力的工作上也離不開(kāi)GPU硬件的組裝與AI模型部署，所以如何去構(gòu)建高性能GPU算力計(jì)算底座，也是一直關(guān)注的領(lǐng)域。

相比有錢(qián)的大廠，一般的科研團(tuán)隊(duì)或者中小企業(yè)，是沒(méi)有那么多費(fèi)用去購(gòu)買(mǎi)A100\H100的，國(guó)產(chǎn)的GPU就更買(mǎi)不起了。

綜上，對(duì)于AI產(chǎn)品研發(fā)不超過(guò)10個(gè)人的團(tuán)隊(duì)如何構(gòu)建AI模型所需要的運(yùn)行算力，主流的做法是通過(guò)4090 或者3090TI系列進(jìn)行組裝矩陣，將機(jī)箱承載的8張卡放在一個(gè)機(jī)箱里，通過(guò)PCIE或者自帶的nvlink，是現(xiàn)在主流的GPU服務(wù)器搭建方式，當(dāng)然 現(xiàn)在還有魔改的4090顯卡，顯存改為48GB，但是穩(wěn)定性與售后難以有保證，除非真的緊急需求，一般不會(huì)有人這么干。

如下圖是分別2個(gè)類型的組合，可以看到機(jī)箱、電源擴(kuò)展的非?？鋸?/strong>

1.4090 8卡組合

2.3090 8卡組合

大廠的AI產(chǎn)品經(jīng)理，不會(huì)接觸GPU硬件

當(dāng)然我知道這類知識(shí)，是很多軟件功能或系統(tǒng)的產(chǎn)品經(jīng)理不會(huì)去涉及的，因?yàn)槭紫仍诠纠锩孢@個(gè)就屬于硬件組或者運(yùn)維部門(mén)來(lái)負(fù)責(zé)，而產(chǎn)品經(jīng)理只管提需求。但如果懂這方面的產(chǎn)品經(jīng)理，在需求的設(shè)計(jì)就會(huì)更合理，比如有的產(chǎn)品經(jīng)理就希望公司可以部署多個(gè)模型，并且可以做到模型切換但是這種方式就需要顯存的急劇擴(kuò)張，在產(chǎn)品還沒(méi)有賺錢(qián)，就消耗了過(guò)高的成本。

英偉達(dá)的DGX背后的GB10芯片：聯(lián)想、技嘉、Dell都有

在2025年開(kāi)年，英偉達(dá)黃仁勛發(fā)布了DGX station，這個(gè)機(jī)器背后承載著GPU、CPU、內(nèi)存組合的一套解決方案，其默認(rèn)顯存與內(nèi)容有128GB，和內(nèi)存統(tǒng)一調(diào)度使用，讓每個(gè)人都可以成為AI模型的使用者。

其和蘋(píng)果類似的技術(shù)方案與外觀，允許將顯存極大化使用，還內(nèi)置了CUDA環(huán)境生態(tài)，可以直接部署模型，在發(fā)布會(huì)當(dāng)天稱之為AI模型的PC。

而機(jī)器的售價(jià)只有3萬(wàn)左右人民幣，并且支持兩臺(tái)project digital，也就是組成了256GB的顯存與內(nèi)存使用.

相比Mac miniM4，擴(kuò)展到64GB就需要接近3萬(wàn)的價(jià)格，而這臺(tái)DGX就在AI模型應(yīng)用上就非常香了。幾乎每個(gè)AI產(chǎn)品經(jīng)理個(gè)人都可以購(gòu)買(mǎi)，不僅是一個(gè)主機(jī)，還是一個(gè)非常合適的私有化模型訓(xùn)練工具。

比直接購(gòu)買(mǎi)顯卡更便宜幾倍

相比直接購(gòu)買(mǎi)4090系列顯卡，或者5090，DGX除了自帶的一體機(jī)，不需要再單獨(dú)買(mǎi)硬盤(pán)等、擴(kuò)展接口，電源，而5090的價(jià)格光顯卡就要2萬(wàn)多了，還不說(shuō)機(jī)箱的其他配置。

這款個(gè)人主機(jī)要是再有筆記本，那么基本現(xiàn)在市面上的游戲規(guī)則就全變了，當(dāng)然現(xiàn)在英偉達(dá)還沒(méi)有對(duì)應(yīng)的操作系統(tǒng)，所以擴(kuò)展到筆記本的可能性為0。

主機(jī)上，用這個(gè)一體機(jī)，除了運(yùn)行模型，再加上運(yùn)行其他虛擬機(jī)是否可以運(yùn)行游戲，這也有點(diǎn)期待了，但目前官方給的默認(rèn)操作系統(tǒng)是ubantu。

現(xiàn)在在ubantu上也有微信和QQ了，但是要想日常辦公還需要裝上office幾件套，有線上文檔等工具，幾乎也可以完成辦公，不過(guò)就是需要費(fèi)時(shí)間去研究這些軟件的安裝了。

可是一張5090的顯卡的費(fèi)用就可以買(mǎi)一臺(tái)遠(yuǎn)超游戲性能主機(jī)，很多玩家應(yīng)該也愿意。

對(duì)比Mac M3 ultra，也更性價(jià)比

在DGX出現(xiàn)之前，很多產(chǎn)品經(jīng)理和開(kāi)發(fā)者會(huì)購(gòu)買(mǎi)Mac studio Ultra M3 512GB 統(tǒng)一內(nèi)存，蘋(píng)果這款機(jī)器幾乎是唯一滿血運(yùn)行DEEPSEEK 量化版本的R1或V3。

但高昂的價(jià)格，就讓很多小企業(yè)或者個(gè)人研究者勸退了。整體購(gòu)買(mǎi)要接近花費(fèi)10萬(wàn)塊錢(qián)左右，現(xiàn)在DGX兩臺(tái)的價(jià)格就是在6萬(wàn)多，可以達(dá)到256的顯存，如果再來(lái)兩臺(tái)就可以達(dá)到512，和蘋(píng)果差不多的價(jià)格，但是可以得到AI模型訓(xùn)練環(huán)境最好的GPU模型算力。

畢竟其天生的CUDA環(huán)境，更加適合模型微調(diào)與二次開(kāi)發(fā)。

最后總結(jié)下其和Macmini M4 pro的對(duì)比區(qū)別

囤二手 ，價(jià)格一定會(huì)漲價(jià)

最后我做個(gè)預(yù)測(cè)，這個(gè)價(jià)格會(huì)和英偉達(dá)的顯卡一樣漲價(jià)，隨著GB10支持聯(lián)想、Dell代工，相信就可以有很多事業(yè)單位、體制內(nèi)也會(huì)采購(gòu)該一體機(jī)了，成為國(guó)內(nèi)算力的香餑餑，價(jià)格會(huì)漲價(jià)。

英偉達(dá)提供的是OEM方案，讓國(guó)內(nèi)代工廠也可以完成組裝并售賣，現(xiàn)在聯(lián)想與技嘉、Dell等品牌已經(jīng)在預(yù)售了，預(yù)計(jì)11月份就可以發(fā)貨。

這種一體機(jī)，幾乎可以解決非常多的AI模型開(kāi)發(fā)者的需求。

價(jià)格在3萬(wàn)到3萬(wàn)5左右，并且隨著AI模型的需求，算力永遠(yuǎn)是不夠的，尤其是那些預(yù)算有限的開(kāi)發(fā)者、高校研究者，我相信這個(gè)價(jià)格一定會(huì)被炒作起來(lái)的。

除了開(kāi)發(fā)之外，還有非常多的算力租賃需求，這個(gè)價(jià)格都會(huì)比國(guó)產(chǎn)的其他芯片價(jià)格更便宜，同時(shí)性能更好。本來(lái)現(xiàn)在A100等芯片已經(jīng)被封鎖了，所以選擇DGX，也是一個(gè)明智之舉，畢竟馬斯克都在用。

今天的分享就在這里。

“關(guān)注我，一個(gè)產(chǎn)品經(jīng)理的創(chuàng)業(yè)故事”

最近我的原創(chuàng)

每日案例拆解庫(kù)，AI等產(chǎn)品打卡群

我創(chuàng)建的產(chǎn)品設(shè)計(jì)打卡社群，加入后365天，每天體驗(yàn)一款A(yù)PP。提升產(chǎn)品設(shè)計(jì)能力，同時(shí)有1300份體驗(yàn)報(bào)告幫助你找到競(jìng)品。

在這里你可以隨時(shí)查詢到你想找的各類競(jìng)品行業(yè)APP，無(wú)須自己親自下載就可以馬上得到APP的一手產(chǎn)品優(yōu)化、交互設(shè)計(jì)、功能描述信息。

從優(yōu)化&建議、商業(yè)模式、運(yùn)營(yíng)、功能描述、交互設(shè)計(jì)、產(chǎn)品定位至少6個(gè)維度，體驗(yàn)一款應(yīng)用。

平均1天1塊錢(qián)，掃碼購(gòu)買(mǎi)即可加入

連續(xù)體驗(yàn)48款應(yīng)用，通過(guò)后原路退回

報(bào)名后添加星球助理

PMTalk123