“規(guī)模決定一切，最終牌桌上一定有火山?！?br/>

文丨賀乾明

在字節(jié)負(fù)責(zé)云計算業(yè)務(wù)火山引擎 5 年，譚待變得更從容了。要來這里時，很多朋友都勸他慎重：字節(jié)比同行晚了 10 年才做云計算，肯定起不來。那是他壓力最大的階段。他說，現(xiàn)在朋友們談起火山引擎，會說做得還可以。

火山引擎交出了亮眼的成績單。據(jù)市場調(diào)研機(jī)構(gòu) IDC 統(tǒng)計，去年國內(nèi)云端大模型調(diào)用量，火山引擎一家占了 46.4%，比二三名加起來都多。去年 12 月到現(xiàn)在，豆包大模型平均每天處理的 Token 處理量翻了兩番到 16.4 萬億，已經(jīng)逼近國外的科技巨頭。

譚待說，除了火山引擎用技術(shù)優(yōu)化壓低了大模型價格，豆包 App 也幫了不少忙，“很多客戶都會拿著跟豆包的聊天 Case 找過來，問火山引擎能不能在企業(yè)場景中實現(xiàn)類似的效果？”

他判斷 Agent 是火山引擎更大的機(jī)會：過去的云平臺為網(wǎng)頁和 App 開發(fā)設(shè)計，需要程序員理解業(yè)務(wù)，定義規(guī)則和算法，然后驅(qū)動數(shù)據(jù)做事，上限就是所有人的時間總和。現(xiàn)在 Agent 成為主體，模型可以自己思考、規(guī)劃、編排流程，自動執(zhí)行解決問題，上限遠(yuǎn)高于 App 時代，“我們正在加碼加班做好準(zhǔn)備”。

6 月 11 日，火山引擎舉辦春季 Force 原動力大會，推出 MCP 服務(wù)、提示詞工具（Prompt Pilot）、知識管理系統(tǒng)、強(qiáng)化學(xué)習(xí)框架（veRL）等為 Agent 定制開發(fā)的套件，并宣布根據(jù) “輸入長度” 區(qū)間給 Agent 調(diào)用的思考模型定價，“綜合成本只有豆包 1.5 深度思考模型或 DeepSeek-R1 的三分之一”。

“模型使用成本要降下來，才能推動 Agent 的規(guī)?；瘧?yīng)用?！?譚待說，經(jīng)營云平臺最重要的是規(guī)模要大，“規(guī)模大了，服務(wù)器多、負(fù)載高，就會對技術(shù)有很高的要求，會強(qiáng)迫我們做好各種事情?！?/p>

這個判斷也讓他敢在 2021 就定下 1000 億元的年收入目標(biāo)，那年中國云平臺第一的阿里云年收入只有 600 億，大模型浪潮還沒有蹤影。給他信心的是，算上字節(jié)整個集團(tuán)的業(yè)務(wù)，火山引擎能調(diào)度的計算資源規(guī)模不比阿里云少。

現(xiàn)在看整體的云計算市場，火山引擎的份額也不在前三。但譚待的信心更充足了，“馬拉松剛跑了 500 米”，未來市場空間最少會擴(kuò)大 100 倍，火山會持續(xù)保持國內(nèi) AI 第一，在傳統(tǒng)云服務(wù)的存量市場持續(xù)增長。

“這幾年 AI 快速普及，我覺得挺幸運(yùn)的?！?他說，只要世界和平，經(jīng)濟(jì)發(fā)展，年收入 1000 億肯定沒問題。

本周，譚待接受《晚點 LatePost》訪談，詳細(xì)分享了火山引擎如何迅速抓住大模型機(jī)會、對 Agent 發(fā)展的思考，以及火山引擎過去 5 年的發(fā)展經(jīng)歷和攢下來的經(jīng)驗。

“規(guī)模決定一切，最終牌桌上一定有火山”

晚點：火山引擎上線 5 年了。剛開始很多從業(yè)者都不看好你們，為什么你們覺得可以做？

譚待：剛開始做火山的時候，管理層就提過一個類似的問題：我們做的晚，為什么還有機(jī)會？

我們當(dāng)時的邏輯是，云是一個很大的賽道。跟國外相比，國內(nèi)云計算在 GDP 里的滲透率還很低，這意味著有很大的空間。

晚點：你們剛開始主要對外提供推薦系統(tǒng)服務(wù)。后來全面進(jìn)入云計算領(lǐng)域，瞄準(zhǔn)的方向是云原生，發(fā)展并沒有特別快。

譚待：那個市場是一個存量的市場，增長就是慢。

晚點：火山引擎剛開始定的目標(biāo)是做中國第四朵云?，F(xiàn)在來看，你們是把目標(biāo)定高了，還是低估了難度？

譚待：第四朵云是有時間期限的，多用幾年，我們還是有信心的。最后還是規(guī)模決定一切，最終牌桌上一定有火山。

現(xiàn)在 AI 就帶來了一個新賽道，我們可以很快做到第一。存量賽道我們可以一點點往上走。

晚點：火山在 AI 上投入很激進(jìn)。你們怎么評估這個機(jī)遇的？

譚待：火山引擎很早就把 AI 當(dāng)做重要方向，做的確實還可以。剛開始做火山的時候，管理層還給我布置了一個作業(yè)：想象一下十年以后的云，也就是 2030 年的時候，跟 2020 年有什么不同。

這個問題，我想了很久。我隱約覺得，不同肯定是因為技術(shù)迭代。但什么新技術(shù)呢？那時有很多，區(qū)塊鏈、元宇宙、AI 等等，我覺得最有可能的還是 AI 。

當(dāng)時自動駕駛開始上 Transformer 架構(gòu)了，對云端算力有很大需求。我們就從自動駕駛公司開始，比如理想、吉利這些。然后又接觸了很多 AI 創(chuàng)業(yè)公司，比如 MiniMax、智譜，然后發(fā)現(xiàn)大模型起來了。

我就感覺那個問題的答案自然就來了。這幾年 AI 快速普及，我覺得還是挺幸運(yùn)的。

晚點：為什么說很幸運(yùn)？

譚待：AI 公司的需求不小，但要求也很高。22 年就需要把幾千張 GPU 做成單一集群做訓(xùn)練，還是很有挑戰(zhàn)。行業(yè)里面很少有公司做這樣的事情。但抖音是有的，推薦、廣告系統(tǒng)模型都很大，只不過它是稀疏的模型。

這里面有一個很重要的點，火山成立有一個原則，一定是要內(nèi)外技術(shù)同源，把最好的技術(shù)拿出去。這看起來理所當(dāng)然，但不容易做到。很多云平臺最后都會搞一個內(nèi)部業(yè)務(wù)上云。這就說明，他們云業(yè)務(wù)和內(nèi)部體系是分裂的。

我們在組織上做了很多的設(shè)計，確保不分裂。這樣的好處是，我們推出機(jī)器學(xué)習(xí)平臺時，就具備真實環(huán)境中大規(guī)模訓(xùn)練的經(jīng)驗。

很多公司選擇火山，不是因為我們有卡，而是因為我們能夠穩(wěn)定地把模型訓(xùn)練出來。

晚點：你們在 2022 年就看到 MiniMax、智譜的需求提升，有建議公司盡快做大模型嗎？豆包大模型出來的確挺晚。

譚待：沒建議。很快 ChatGPT 就出來了，就不需要我建議了。

晚點：同行都在 2023 年推出大模型服務(wù)，你們不著急嗎？

譚待：創(chuàng)新肯定是不能規(guī)劃的。我們還是希望把模型做好了再對外推。國內(nèi)的模型也都是 24 年才逐步成熟。搶跑幾個月沒有意義。

晚點：聽上去你很從容。這么多年壓力最大的是什么時候？

譚待：剛開始做火山的時候。我原本是做技術(shù)的，沒有經(jīng)營過業(yè)務(wù)，也沒有管理過特別大的團(tuán)隊。

晚點：那為什么字節(jié)的高管會讓你管，而不是找個更有經(jīng)驗的云計算行業(yè)高管？

譚待：可能是覺得我很有熱情，也有潛力（笑）。就我本身而言，這跟我的職業(yè)規(guī)劃有關(guān)，我原來在百度很快就做到 T11（工程師最高職級），也想轉(zhuǎn)型做業(yè)務(wù)，要跟技術(shù)強(qiáng)相關(guān)，做 ToB 基本是唯一的選項了。

在云計算行業(yè)做了很久的人，并不一定對字節(jié)有信心。我面試的時候，一些有經(jīng)驗的朋友跟我說：字節(jié)肯定做不起來。現(xiàn)在他們會跟我說，火山做得挺好的。

晚點：你們最大的競爭對手是誰？

譚待：挺多的。排在我們前面的，都是很有力的競爭者。

晚點：你們要做第一？

譚待：國內(nèi) AI 這一塊，我們的目標(biāo)肯定是第一。市場空間未來可能會擴(kuò)大 100 倍，保持第一還是很有挑戰(zhàn)的。

晚點：火山引擎有個 1000 億的收入目標(biāo)。什么時候定下的？

譚待：21 年左右寫 BP （商業(yè)計劃書）的時候。當(dāng)時判斷這個業(yè)務(wù)周期很長，就不寫 3 年 BP 了，寫個 8 到 10 年的。

晚點：為什么是 1000 億？

譚待：云是一個很大的市場，要取得一定的份額才有價值。

晚點：火山引擎去年收入 100 億，今年沖刺 200 多億。千億目標(biāo)進(jìn)度條現(xiàn)在只有 25%。距離你的目標(biāo)剩不了幾年，能做到嗎？

譚待：得看增速，這個速度能保持下來的話，應(yīng)該是可以完成的。

晚點：但收入規(guī)模越大，增速就會越來越慢。

譚待：是慢，但肯定也會增長。因為 AI 這個市場會足夠大。

晚點：云服分成兩個市場，一個是 CPU 為基礎(chǔ)的傳統(tǒng)云服務(wù)，一個是 GPU 為基礎(chǔ)的 AI 云服務(wù)。你們的 1000 億怎么分？

譚待：GPU 會占大頭，至少要超過一半。

晚點：你之前有個判斷，ToB 行業(yè)頭三年的事情，就會決定八年后的格局。從 ChatGPT 到現(xiàn)在也快三年了。你們還有哪些重要的事情沒做？

譚待：Agent 今年可能才是元年。那么 AI 云原生這些事情，從開發(fā)范式到底下技術(shù)、安全、數(shù)據(jù)都會有變化，這些都要加班加碼做好。

晚點：你今年的 OKR 是什么？

譚待：很簡單，AI 做第一，增加存量市場份額，把組織做好。這個 OKR 我寫了好幾年了。

晚點：今年有什么新變化嗎？

譚待：你可以看我們機(jī)場廣告，原來寫的是：火山引擎，你的下一朵云。馬上我們就會改成：火山引擎，你的 AI 云。

我們現(xiàn)在就是讓大家認(rèn)識到在 AI 時代，火山是最好的選擇。

晚點：如果 10 年的期限到了，火山?jīng)]做到 1000 億收入。你覺得會是什么沒做好？

譚待：只要世界和平，經(jīng)濟(jì)發(fā)展，我覺得肯定沒問題。

馬拉松才跑 500 米，豆包 App 出了不少力

晚點：IDC 統(tǒng)計，去年國內(nèi)大模型調(diào)用總量中，火山引擎占比 46.4%。這包括豆包、即夢等字節(jié)內(nèi)部應(yīng)用的消耗嗎？

譚待：不包括。分子、分母都是外部的。

晚點：你們對這個成績滿意嗎？

譚待：談不上滿意和不滿意。這個事太早期了。我跟團(tuán)隊說，馬拉松才跑 500 米，別取得一點點小成績就滿意了。之前我們定目標(biāo)的時候，就是超過 40%。

晚點：你們在去年 5 月才發(fā)布豆包大模型，比同行都晚。為什么敢定這么高的目標(biāo)？

譚待：我們的判斷是，這個市場會增加十倍，比人家晚半年無所謂。如果只漲 50%，晚半年確實太難了，你得把存量搶過來。全是增量那無所謂。

晚點：有一些同行說，字節(jié)有很多 GPU，火山引擎的市場份額是用虧錢換來的。

譚待：我們是有毛利的。MaaS（模型即服務(wù)）是一個賺錢的生意，毛利率在所有云服務(wù)產(chǎn)品中算比較好的。除掉數(shù)據(jù)庫，國內(nèi)沒什么賺錢的 PaaS，像容器化什么的服務(wù)，都是買 IaaS 直接送的。

晚點：據(jù)我們了解，你們給大模型定價的時候，是用倒推的邏輯，假設(shè)未來調(diào)用量達(dá)到一定程度，就能盈虧平衡。所以會先降價吸引客戶。

譚待：假設(shè)我三個月后能把成本降下來，用那個價格對外提供服務(wù)，也是合理的吧？

晚點：DeepSeek 說自己 API 服務(wù)的毛利為 85%（成本利潤率 545%），你看到有什么感受？

譚待：它是一個理論值。他們的確有各種優(yōu)化點。不過算力需求有波峰和波谷，波谷的成本是大頭，他們把波谷的成本拿走做訓(xùn)練了，所以那時候成本很低。他們也沒有算 SLA（云平臺服務(wù)客戶的協(xié)議，代表對客戶的承諾），波峰高的時候可以跳票。

我們?nèi)サ袅四切┢碚摰狞c，跟內(nèi)部比了一下，發(fā)現(xiàn)做得的確還可以。他們也幫我們澄清了一些事情。去年我們降價，好多人說我們虧本打價格戰(zhàn)。我還專門發(fā)朋友圈解釋，說靠技術(shù)做到的。DeepSeek 證明靠技術(shù)的確可以做到。

晚點：為什么你們說靠技術(shù)降成本別人不信，DeepSeek 出來說就有人信？

譚待：DeepSeek 是開源的，大家可以做一些復(fù)現(xiàn)。

晚點：那你會想讓豆包開源嗎？

譚待：我沒有偏好。最重要的是模型是不是能做到最好?？蛻舨粫谝饽闶情_源還是閉源。就算開源了，大家也傾向用云上托管的版本，自己搭太貴了。

晚點：所以低價是你們拿下超 40% 市場份額的主要原因？

譚待：低價只是剛開始對我們有幫助，現(xiàn)在大家的定價都差不多。首先還是模型效果要好。另外我們還有一個很大的優(yōu)勢，是 C 端（個人消費(fèi)者）B 端（企業(yè)客戶） 協(xié)同。

字節(jié)的 C 端產(chǎn)品有大量用戶，會大規(guī)模調(diào)用模型，能幫我們把服務(wù)做好。同時，還有很多人會拿著我們 C 端產(chǎn)品的 Case 找過來，說想用在業(yè)務(wù)中，火山能不能做類似的效果？

我經(jīng)常開玩笑說，企業(yè) AI 轉(zhuǎn)型第一步，就是董事長先下載一個豆包 App。我發(fā)現(xiàn)好多人都認(rèn)這一點。所以大模型一定要好。不能他們用了后覺得很挫，可能以后就不考慮我們了。

晚點：效果好決定一切？

譚待：這只是模型好的一方面，其他還有穩(wěn)定性強(qiáng)，吞吐高。大家容易忽視的是模型的 TPM（Tokens Per Minute，每分鐘處理的 tokens 數(shù)），我們能到 500 萬。

擴(kuò)大 TPM 要更多的成本，也考驗調(diào)度系統(tǒng)。所以有同行取巧，說價格追平了我們，把 TPM 限制得很小。如果客戶想擴(kuò)大就得加錢。

晚點：去年你們豆包降價的時候，就因為 TPM 低被吐槽。

譚待：當(dāng)時沒注意到這一點，就用了跟同行一樣的。我們一周后就把它放大了。后面我們一直默認(rèn)把 TPM 做得很大。這是客戶教我們的。云里面有很多這種細(xì)節(jié)，魔鬼都在細(xì)節(jié)里面。

晚點：云計算這種細(xì)節(jié)特別多、鏈條又很長的系統(tǒng)里面，怎么能做到最好？

譚待：最重要的還是規(guī)模要大。規(guī)模大了，服務(wù)器多、負(fù)載高，天然就對技術(shù)有很高的要求，就會強(qiáng)迫我們做好各種事情。我們內(nèi)部很早就用 GPU 訓(xùn)練推薦系統(tǒng)，可以直接對外復(fù)用了。

規(guī)模大了后，做優(yōu)化收益也很大。1 萬臺服務(wù)器利用率優(yōu)化一個點，100 萬臺服務(wù)器優(yōu)化一個點，收益差 100 倍。但要做的事情是差不多的。這個收益差異，可以讓我組建強(qiáng)大的團(tuán)隊做得更好。

晚點：如果看整個云計算領(lǐng)域，不只算 AI 云，規(guī)模最大的還是阿里云。

譚待：只算云業(yè)務(wù)國內(nèi)肯定是阿里云，如果按整個集團(tuán)來算資源規(guī)模的話，我們不比阿里少。如果沒有那么大的內(nèi)部資源，再大的力也出不了奇跡，都沒有讓你練手的地方。

用模式創(chuàng)新繼續(xù)推動降價，Agent 會突破 App 時代天花板

晚點：豆包 1.5 已經(jīng)發(fā)布快半年了，現(xiàn)在你們發(fā)布新款豆包大模型命名 1.6，大模型迭代速度放緩了？

譚待：也不能說放緩。這一版與 1.5 相比有很大優(yōu)化。2.0 會有的，我們希望大版本更新的時候變化更大。

晚點：一年前你們開發(fā)布會，大模型降價幅度非常大，比行業(yè)均價減少 99.3%。今年降價幅度為什么變小了？

譚待：去年國內(nèi)很多人都在講 AI 概念，但 AI 應(yīng)用很少，沒多少人用大模型。主要原因就是太貴，有的模型比美國的模型還貴，兩邊人均 GDP 水平又不一樣。

我們看到能靠技術(shù)把成本降下來，就決定一次降徹底，更低的成本能催生更多應(yīng)用，可以把盤子做大。

想要繼續(xù)降價，技術(shù)得有大幅更新，但它是有周期的。而且成本已經(jīng)不算是 AI 應(yīng)用創(chuàng)新的門檻了，更大的問題是怎么用好平臺，做出來更好的應(yīng)用。

晚點：那這次你們怎么把模型價格降到過去的 1/3？

譚待：主要是定價模式上的創(chuàng)新。深度思考模型出來后，解鎖了很多場景，比如搜索。這些模型用起來挺貴的。

其實同一個模型，開思考和不開思考單位成本是一樣的，主要的差別就是 context（輸入內(nèi)容）長度。我們發(fā)現(xiàn)，客戶使用大模型時，context 長度分布有規(guī)律，大部分都落在 0 到 32K，然后是 128K、256K。

我們就決定不再給思考模型與普通模型分別定價，而是按照 context 長度做區(qū)分，動態(tài)計價。我們相信，這會跟去年我們大幅降價一樣，引領(lǐng)行業(yè)往這個方向發(fā)展。

晚點：你們今年介紹了很多 Agent 方面的進(jìn)展，比如做全鏈路 Agent 開發(fā)工具、改進(jìn)數(shù)據(jù)基建，看上去跟同行沒太大差別。

譚待：剛才說的計費(fèi)方式變化就是個明顯的差別。這樣定價也不是誰都可以做。首先你得服務(wù)過很多的客戶，才能知道 context 的分布規(guī)律。資源調(diào)度也要進(jìn)一步優(yōu)化，把不同長度的 context 混在一起推理，會浪費(fèi)資源。 我們把思考模型的 context 做到 256K，至少在國內(nèi)是第一家。

強(qiáng)化學(xué)習(xí)是做好 Agent 的關(guān)鍵技術(shù)，現(xiàn)在業(yè)內(nèi)用得最多的強(qiáng)化學(xué)習(xí)框架就是 veRL，這是我們開源的。那個 ve 就是 volcengine（火山引擎的英文）的意思。

另外，Agent 一定要用到 Coding（編程），讓模型能自己寫代碼解決問題，這需要類似 IDE 的開發(fā)環(huán)境。國內(nèi)大多數(shù)公司只是提供 AI 生成代碼插件，這顯然不夠。字節(jié)的 Trae 應(yīng)該是國內(nèi)唯一定位像 Cursor 的集成式 Coding Agent。

晚點：Trae 是一個開發(fā)者工具，跟火山引擎做 Agent 有什么關(guān)系？

譚待：它背后的大模型用了火山上的。火山上的所有云組件服務(wù)，我們?nèi)坑?MCP 協(xié)議做成了服務(wù)，直接跟 Trae 打通，開發(fā)者做完開發(fā)，就可以直接調(diào)用云上的各種組件部署、運(yùn)維了。

晚點：你們怎么判斷 Agent 對云計算行業(yè)的影響？看到了什么機(jī)會？

譚待：PC 到移動再到現(xiàn)在的 AI，是主體發(fā)生變化。PC 的時候是網(wǎng)站，移動的時候是 App，AI 將來最重要的主體其實是 Agent。

主體不同，開發(fā)范式會變。PC、移動時代的各種架構(gòu)，容器化、微服務(wù)都是程序員理解業(yè)務(wù)，定義規(guī)則和算法，然后驅(qū)動數(shù)據(jù)做事。Agent 是模型自己思考、規(guī)劃、編排流程。

這就是我們說的 AI 云原生。過去的云平臺是為 Web、App 最佳實踐設(shè)計的，現(xiàn)在要圍繞著 Agent 設(shè)計。

未來 Agent 和 Agent 之間會有一個網(wǎng)絡(luò)，它們可以自動執(zhí)行任務(wù)。App 都是供人使用，但全世界就有這么多人，每個人能花多少時間，算下來的總時長就是 App 的上限。

Agent 能主動執(zhí)行任務(wù)，它工作的總時長，會遠(yuǎn)高于 App 的上限，就能創(chuàng)造更大的經(jīng)濟(jì)價值。這需要更多的云計算資源。

豆包模型調(diào)用半年翻兩番，模型更新帶動需求增長

晚點：你們這次宣布了一個數(shù)字，豆包大模型日均 Token 處理量達(dá)到 16.4 萬億了。這個算內(nèi)部產(chǎn)品嗎？

譚待：這個算的。

晚點：去年 12 月你們宣布的數(shù)字是 4 萬億，到現(xiàn)在翻了兩番。為什么這么快？

譚待：這就說明 AI 在蓬勃發(fā)展，這個數(shù)字不僅代表豆包的速度，能說明 AI 的速度。

晚點：有人說是 DeepSeek 的爆發(fā)帶動行業(yè)發(fā)展。讓很多大模型公司都受益了。

譚待：DeepSeek 出來后，我們的確感覺到客戶的熱情提升了。主要是它破圈了?？蛻舻脑鲩L，還是比較依賴模型能力提升。

晚點：從豆包大模型增長來看，哪些行業(yè)的客戶的 Token 消耗量在提升？

譚待：最近半年有兩個驅(qū)動力。一是深度思考模型出來后，帶動 AI 工具類應(yīng)用快速增長，AI 搜索、AI Coding 漲了接近 10 倍。

另一個是多模態(tài)模型，也催生了新需求。很多客戶用它在線下巡店，看餐盤有沒有放好、工作人員帽子有沒有戴好等等。這半年也有 10 倍增長。

晚點：這種需求靠過去的小模型就可以做，現(xiàn)在用大模型更便宜嗎？

譚待：用上多模態(tài)大模型，單次推理成本可能是增加的。但以前的小模型，一個場景就要訓(xùn)一個模型，訓(xùn)練成本很高，還不一定能識別全?，F(xiàn)在用大模型，只需要 Prompt 就可以了。綜合成本是低的。

晚點：這些都是模型迭代帶來的變化?？蛻魧Υ竽Ｐ偷膽B(tài)度有什么變化嗎？

譚待：變化還是很明顯的。以前你還得科普，現(xiàn)在不用了。尤其是今年?，F(xiàn)在的矛盾點是，大模型能不能創(chuàng)造經(jīng)濟(jì)價值。如果這個事更明顯，增長可以更快。

晚點：你們有碰到一些失敗案例嗎？

譚待：說失敗不太合適，可以說是有挑戰(zhàn)的案例。比如有監(jiān)管要求的行業(yè)客戶。他們上來就會問，能不能私有化？

所以我們這次大會講了很多大模型安全的內(nèi)容。我們有個產(chǎn)品叫 AI 密態(tài)計算，用硬件隔離出加密環(huán)境，用端側(cè)的密鑰解密。讓客戶有私有云的安全程度，又能訪問最新模型，成本還低。

晚點：現(xiàn)在做大模型一體機(jī)的有很多，為什么私有化會是挑戰(zhàn) ?

譚待：想把大模型用起來，不能只有一個模型，還要有一系列工具。云上的工具都還在完善，怎么能指望一體機(jī)里面東西都是健全的？

而且公有云上可以用混合調(diào)度，把每一次 token 調(diào)用的成本攤薄。私有云的環(huán)境中，處理 Token 的成本要比云上的刊例價至少高 5 倍。 這會影響發(fā)展速度。

晚點：你們占了這么大的市場份額，現(xiàn)在增長也很快。你們總結(jié)了什么經(jīng)驗？

譚待：最重要的是建立機(jī)制?？蛻粝胗煤么竽Ｐ?，需要做好 prompt、模型要精巧、有合適的 RAG 知識庫。我們會組建專門的服務(wù)團(tuán)隊，和行業(yè)線團(tuán)隊做匹配去服務(wù)他們。

我們會把這些能力沉淀到一個工具中。比如這次我們推出的 Prompt Pilot，就是發(fā)現(xiàn)要做大量 Prompt Engineering 的事情，這太累了。

晚點：現(xiàn)在大家都在說，只要模型足夠好，不需要太多提示詞工程。

譚待：我覺得這完全是錯的。應(yīng)該反過來，模型更好的時候，提示詞工程價值更大。當(dāng)你把需求說得更明確的時候，更好的大模型其實能執(zhí)行得更好。

晚點：一位云平臺負(fù)責(zé)人跟我們說，云服務(wù)是多元化體系，客戶想用什么模型，就要想辦法去滿足他們的需求?；鹕礁拱壎ǚ浅Ｉ?，會影響你們增長嗎？

譚待：我覺得這是兩個流派。對自己模型沒有信心，可能就會說自己是一個云平臺，要支持所有的模型。我們對自己的模型特別有信心，就會傾向于做垂直優(yōu)化。

那些很復(fù)雜的 Agent ，讓它做好復(fù)雜任務(wù)，不僅模型要優(yōu)化，背后的服務(wù)也得優(yōu)化，還要準(zhǔn)備好調(diào)優(yōu)的環(huán)境等等。

我們能提供的最大價值，是垂直優(yōu)化的能力，這肯定是基于豆包大模型的。有些客戶的需求，甚至要在預(yù)訓(xùn)練階段解決。 我不可能幫客戶優(yōu)化一個開源模型，我也沒有源代碼。

晚點：做垂直優(yōu)化，你們也要跟研發(fā)大模型的 Seed、各種 AI 產(chǎn)品合作。這些都是不同的部門。你們有什么樣的合作機(jī)制？

譚待：火山有專門的團(tuán)隊，可以參與到模型研發(fā)和產(chǎn)品開發(fā)中。字節(jié)做火山一個重要的原則就是技術(shù)內(nèi)外同源，比如我們的基礎(chǔ)設(shè)施就是復(fù)用一個大團(tuán)隊，保證體系能夠協(xié)調(diào)在一起。

如果是分裂的，協(xié)作就需要公司的 CTO 來協(xié)調(diào)。但大多數(shù) CTO 都不太了解底下的細(xì)節(jié)。在字節(jié)，技術(shù)負(fù)責(zé)人就可以了。

晚點：如果豆包能力提升很慢，做不到最好呢？

譚待：這是小概率事件。如果豆包能力提升很慢，公司自然會提高優(yōu)先級去解決。

晚點：很多云廠商都在投資大做 AI 基建，比如阿里宣布三年投入 3800 億元。你們怎么規(guī)劃的？

譚待：我們不一定非要宣布花多少錢，客戶需要算力的時候，我們能滿足就好了。我希望默默把事情做好，給大家一個驚喜。

題圖來源：火山引擎