Coding 是培育大模型最好的場景。

作者丨梁丙鑒

編輯丨馬曉寧

為甲方提供標(biāo)準(zhǔn)的產(chǎn)品，在使用過程中不斷迭代，如此循環(huán)往復(fù)，是軟件行業(yè)一種看起來可行的商業(yè)模式。但一項功能的迭代動輒兩三個月，隨著各種長尾的、定制化的需求不斷提出，代碼供給速度最終會成為飛輪上一把甩不掉的鎖。怎么砸開這把鎖，兩年前，這個問題成為了宿文的心病。

上世紀(jì) 80 年代，以提升代碼供給效率為目標(biāo)的低代碼和零代碼概念出現(xiàn)，可以說自從有 IT 產(chǎn)業(yè)以來，就有了取代程序員的訴求。宿文不是第一個這么想的人，不同的是，這一次大模型來了。

人力是造成代碼供給效率、成本和質(zhì)量不可能三角的源頭，但如果代之以算力，就有可能兼顧多快好省。“我們的終極目標(biāo)，就是在二進制的世界里做代碼供給的 Infra。"宿文稱。大模型讓他看到了 Autopilot 的希望，決定把這件上一代沒完成的歷史使命，接到 AIGCode 的手中。

產(chǎn)品之下，潛藏著宿文對于商業(yè)和技術(shù)閉環(huán)的思考。Coding 有著相對短平快的商業(yè)閉環(huán)，代碼數(shù)據(jù)又是高質(zhì)量的訓(xùn)練樣本，在 Coding 的場景下訓(xùn)練自己的大模型，走向 AGI，然后讓用戶像 3D 打印那樣隨用隨取自己的 Personal App，這個故事的難度嚇走了不少投資人。

宿文相信 Autocoding 就是 AGI。

這家成立于 2024 年初的公司，剛剛訓(xùn)練出了一個 66B 的基礎(chǔ)模型，并基于該模型提供 AI Coding 產(chǎn)品。2024 年 7 月 5 日，其自訓(xùn)練的錫月大模型正式發(fā)布。同年 11 月，AIGCode 開啟了全球代碼生成領(lǐng)域首個 LLM-native "autopilot" 自動編程產(chǎn)品 AutoCoder 的內(nèi)測，該產(chǎn)品旨在幫助“產(chǎn)品經(jīng)理”在零代碼條件下實現(xiàn)創(chuàng)意。

要自己去做大模型的預(yù)訓(xùn)練，他也必然面臨這些問題：技術(shù)上能否實現(xiàn)？訓(xùn)練成本怎么解決？以及最重要的，會不會被 ChatGPT、Claude、 DeepSeek 這樣的通用大模型碾壓？

宿文的回答很直接，也很誠懇。他不是什么產(chǎn)品天才，但是他堅信，AI 時代產(chǎn)品的迭代不再是簡單地優(yōu)化一下功能和 UI，AI產(chǎn)品最終比拼的還是誰的“大腦”更聰明。

以下是 AI 科技評論與宿文的對話全文，為方便閱讀，進行了不改變原意的文字調(diào)整。

1

Coding就是實現(xiàn)AGI的最佳場景

AI 科技評論：你之前做過程序員嗎？為什么想要做AI Coding類型的產(chǎn)品？

宿文：我沒有做過程序員，但是我工科背景出身，學(xué)的就是工業(yè)信息化，在清華讀到博士，畢業(yè)后我在華創(chuàng)資本做了三年投資人，之后獨立創(chuàng)業(yè)，做了一家 SaaS 公司，幫助制造業(yè)企業(yè)實現(xiàn)數(shù)字化轉(zhuǎn)型。

想做 AI Coding 類型的產(chǎn)品，起因是我在上一段創(chuàng)業(yè)的時候，發(fā)現(xiàn)了一個很難解的現(xiàn)象。作為一家 2B 的公司，我們?yōu)榧追焦S提供了很標(biāo)準(zhǔn)的 SaaS 產(chǎn)品，我們的原意是，他們可以在標(biāo)準(zhǔn)產(chǎn)品的基礎(chǔ)上去做迭代和場景化適配。但在實際工作過程中，我發(fā)現(xiàn)，這是個一廂情愿的想法。

B 端的工廠也好，公司也好，他們有個性化的、長尾的、定制的、不斷迭代的需求，我們就要給他們不斷地提供交付服務(wù)，他們提出一個功能的需求，改幾周算少的，兩三個月都很正常，那改還是不改？不改，你失去這個客戶了，改了，你花的時間成本、人力成本怎么算？怎么在成本壓力下保證代碼質(zhì)量？

那時我就在想，有什么樣的辦法讓產(chǎn)品迭代變得又快又好？之前很難，大模型出現(xiàn)之后，我覺得，AI才是解決代碼供給不足最好的辦法。

AI 科技評論：創(chuàng)業(yè)的想法是什么時候有的？

宿文：23 年下半年這個想法大體上就定型了。24年1月底我與我們的 CTO 陳秋武共同創(chuàng)辦了 AIGCode。那幾個月我想清楚了，我們這次要做的事情，本質(zhì)就是找一個場景去做大模型。

AI科技評論：我一直以為，AIGCode是一家AI Coding的公司。難道你們是一家大模型公司嗎？

宿文：我們的確是一家 AI Coding 的公司，做大模型是我們通往 AGI 的必經(jīng)之路。

首先是在這次創(chuàng)業(yè)的思考中，我的第一個落足點在于，什么樣的場景可以通往 AGI。在我看來，陪伴聊天一定不是，聊天的語料數(shù)據(jù)，基本上對于提升模型智力沒有幫助。那個場景能沉淀下來啥？

我也考察過其他的場景，法律、稅務(wù)、游戲、營銷，那個時間點上，大模型太熱了，各個行業(yè)都要垂直大模型，我們看到的是，不論是行業(yè)語料也好，還是成熟度也好，都遠(yuǎn)遠(yuǎn)達(dá)不到我內(nèi)心中對于實現(xiàn) AGI 的條件。你要知道，那時候還在 16 個月之前，當(dāng)時的產(chǎn)品成熟度比現(xiàn)在差多了，國內(nèi)用戶是很難接受的，商業(yè)上根本無法閉環(huán)。

最后我們回歸到代碼上。從技術(shù)上來說，代碼是一個高質(zhì)量的樣本，也是最主要的合成數(shù)據(jù)，從商業(yè)上來說，它也能實現(xiàn)短平快的閉環(huán)。程序員用戶的優(yōu)點是專業(yè)能力強，接受工具的開放度高。Cursor 為什么能起來？程序員可能覺得現(xiàn)在的補齊率很低、采納率很低，但是他們還是會用，這就會形成一個比較健康的商業(yè)模式。

所以我們選擇了代碼，通過代碼來做大模型。但是我們現(xiàn)在并不追求泛化能力的變現(xiàn)，那是后半程才會去做的事情。

AI 科技評論：國外的Coding公司里你最喜歡哪家？

宿文：Cursor，他們對整個賽道的布局和判斷基本上跟大模型是同步的。Cursor 不是跟隨者，在判斷有 GitHub Copilot 的情況下，既能堅定地先改一套 IDE，還有自己的創(chuàng)新點，并且迭代速度快到能在大廠的車輪前搶錢，隨后又很快地意識到?jīng)]有自己的模型不行，開始碰模型這件事兒。我覺得 Cursor 在代碼補齊這個賽道上目前的思路還挺清晰的。

AI 科技評論：你們創(chuàng)業(yè)有受到Cursor的影響嗎？

宿文：有研究和參考，Cursor給我們最重要的一個啟示，就是不要做他們那個方向。

原因很簡單，首先 Cursor 服務(wù)于程序員，這就不是一個特別好服務(wù)的用戶群體。其次程序員一定會選擇全球最好的一款 Copilot 類產(chǎn)品，我們跟在 Cursor 后面，一定是晚的。另外更關(guān)鍵的問題是，Copilot 類產(chǎn)品最終要跟 IDE 打交道，未來怎么跟生態(tài)位上最大的公司微軟 PK，我一直沒想明白。我覺得初創(chuàng)公司與其解決這個問題，不如自己訓(xùn)練大模型。

Poolside 和 Magic 兩家公司在沒有發(fā)布任何產(chǎn)品的情況下，估值就達(dá)到了 30 億美金。Cursor 現(xiàn)在有很漂亮的 ARR 收入，但是之前估值都比 Poolside 低，一個很重要的原因就是它沒模型。硅谷的定價邏輯是為技術(shù)壁壘付費，做模型的公司估值就高。但話說回來，大模型這個事本身有壁壘，你做的有沒有壁壘是另外一回事?！?/p>

復(fù)刻一個代碼補齊的產(chǎn)品，從生態(tài)到技術(shù)上都不太對。我們走的是一條更激進，或者說終結(jié)的道路。我們不做Copilot，做Autopilot。

AI 科技評論：不做Copilot，做Autopilot，這是有什么原因嗎？

宿文：Autopilot其實應(yīng)該說是幾代人的夢想了。上世紀(jì) 80 年代 IT 產(chǎn)業(yè)爆發(fā)的時候，就有了低代碼和零代碼概念，因為程序員貴，寫代碼慢啊。可以說是自從有了程序員，我們就想把“程序員”這個職業(yè)給干掉。那一代沒有把代碼供給的歷史使命完成，我們可以用大模型繼續(xù)做這件事。

只要有人參與到寫代碼的事情中，就不可能做到多快好省。只有完全交給模型和算力，才能實現(xiàn)我們的終極目標(biāo)：在二進制的世界里做代碼供給。

AI 科技評論：既然已經(jīng)有了終極目標(biāo)，那你們的短期、中期和長期目標(biāo)分別是什么？

宿文：短期目標(biāo)以今年年底為節(jié)點，從用戶流量和收入層面，驗證AutoCoder這個“端到端的、能夠替代掉程序員的”產(chǎn)品的PMF。相較于自動駕駛，Coding autopilot 的好處是沒有任何安全法規(guī)的卡點，可以直接通過商業(yè)化進行迭代。其實 AutoCoder 四月已經(jīng)在國內(nèi)上線內(nèi)測了，我們沒有做大規(guī)模推廣，目前通過口碑裂變有三百多個“產(chǎn)品經(jīng)理”用戶在幫助我們打磨產(chǎn)品，給我們提供了上百條有效建議和 idea。我們計劃本月上線美國市場，最初兩個月的目標(biāo)會是尋找死忠用戶繼續(xù)迭代產(chǎn)品。從今年 Q3 開始，增長和商業(yè)化數(shù)據(jù)才會成為運營團隊的 OKR。

中期目標(biāo)是打通軟件的生態(tài)。軟件已經(jīng)是存量市場，眾多軟件沉淀下來的數(shù)據(jù)要供 Agent 調(diào)用，Agent 的底層是代碼供給，而大模型第一天生成出來的東西就是代碼承接。有時候大家在想大模型的 OS 是什么，其實就是能提供一整個生態(tài)的東西，這里的橋接點應(yīng)該是一個有全鏈路能力的代碼生成。

長期目標(biāo)是實現(xiàn)AGI。我認(rèn)為以任何形式，能夠徹底實現(xiàn)Autocoding的，就是AGI。

短期先活下去，中期從今年年底開始算，用兩年左右的時間把生態(tài)位打通，再往后可能需要三五年的時間實現(xiàn) AGI。

2

直接干 L5，做一件反共識的事情

AI 科技評論：現(xiàn)在的產(chǎn)品思路是什么時候確定的？

宿文：產(chǎn)品思路從創(chuàng)業(yè)第一天就是確定的，我現(xiàn)在還能翻出 23 年 11 月我們 CTO 做的大紅色 PPT。只是在操作的過程中，我們試探過很多產(chǎn)品形態(tài)和技術(shù)方案，中間砍掉了很多不合理的版本。

我們內(nèi)部大概去年七八月份也做出了類似于 Lovable 的產(chǎn)品，認(rèn)為它完全基于模型的能力，在這一點上我們比不過。如果當(dāng)時停下來做補齊類產(chǎn)品的運營和迭代，這就完全變成了算 ROI 的生意，身后始終有一個東西追趕，會是很難受的狀態(tài)。另外從整個工程來說，它靠大模型從頭到尾寫源代碼，是沒有任何工程的美感，解決不了嚴(yán)肅的工具問題。

AI 科技評論：這個產(chǎn)品是第幾個版本了？

宿文：第三個。其實目前還有兩個方案在并行。因為團隊成員很多都是 95 后，很年輕有想法，而且都是市面上沒見過的方案，沒到最后是驗證不出來的，我們內(nèi)部對這種創(chuàng)新型的方案是大力支持的。兩個方案首先都要保證端到端，都是完整的 Autopilot 產(chǎn)品，剩下就是比拼靈活性，能不能實現(xiàn)各種復(fù)雜的問題。

這兩個方案有很多可以共存的部分，需求人群的定位也比較趨同，但核心區(qū)別是底層架構(gòu)的引擎。我感覺有點像是在設(shè)計一個預(yù)制菜工廠，要賣的食物到底是蔥花級別的，還是我把所有東西都做好裝袋子里，用開水熱一下就能吃，現(xiàn)在不知道什么方案的效率最高。架構(gòu)是推演不出來的，或者推演出來最完美的那個架構(gòu)實現(xiàn)成本太高。

AI 科技評論：那大廠會不會也去做Autocoding？

宿文：會想，但能不能實現(xiàn)是另外一回事。Autocoding 產(chǎn)品跟模型緊耦合，模型要做很多優(yōu)化才能實現(xiàn)，但大廠的模型團隊背的是補齊率指標(biāo)，而不是這個 autopilot 產(chǎn)品優(yōu)化所需要的稀疏樣本和特有樣本，不會支持內(nèi)部其他團隊做這件事。我們在 Autocoding 上投入了 16 個月，大廠即使用資源優(yōu)勢縮短一半時間，8 個月也足以拖垮一個團隊的 OKR。

大廠有點能力的模型都能自然而然“長”出一個Copilot，但做Autopilot會有不一樣的訓(xùn)練要求，需要時間去做真正的創(chuàng)新。大廠的生態(tài)不會有幾萬程序員等著，一定要用這個產(chǎn)品才能保障業(yè)務(wù)安全，因此不存在戰(zhàn)略上的訴求。所以即使大廠有做 Autopilot 的想法，出于戰(zhàn)略和組織效率的考慮，會不會 all in 充足的資源下場尚有待觀察，

AI 科技評論：你覺得Cursor會做嗎？

宿文：大家的目標(biāo)都是做 Autopilot。有人選擇從 L2 奔向 L5，有人覺得從 L2 跑不到 L5，直接做 L5。我們就是直接干 L5 的人，所有的技術(shù)都是為 L5 做儲備。（L1-L5 的概念來源于自動駕駛行業(yè)，在 AI 編程中，L1 是代碼補全，L2 是任務(wù)自動化，L3 是項目自動化，L4 是 AI 軟件工程師，L5 是 AI 開發(fā)團隊。編者注）

AI 科技評論：在你的設(shè)想中，L5會是一個什么樣的場景？

宿文：代碼里有幾乎所有的業(yè)務(wù)邏輯，那個時候的商業(yè)化場景就是 Personal App。App就會變成用后即焚的軟件，生成一個只用一次就可以了。用戶有需要的時候就像3D打印那樣定制一個，不需要安裝很多軟件。

AI 科技評論：你怎么說服別人相信你們的PMF？

宿文：沒法說服，要靠做。我就面對過投資人和行業(yè)交流遇到的友商，他們會直接說你們的產(chǎn)品做不出來。目前的模型能力，要么寫一段代碼補齊，要么只寫前端的代碼，你們要把數(shù)據(jù)庫、后端和前端一起做，做不出來。但好在我們內(nèi)部的小鏈路即使存在不少bug，存在各種延遲，解決核心問題是大差不差的。

Lovable這類產(chǎn)品其實相當(dāng)于在一個完整的軟件工程中，最多完成了20％的工作量。剩下的 80％該不該解決？該。能不能解決？我們?nèi)ソ鉀Q。你說不行，那我們最終只能把產(chǎn)品推出來。

AI 科技評論：那你第一步準(zhǔn)備去哪找死忠用戶？

宿文：Autopilot 的需求在整個用戶群里，只要在任何一個社區(qū)里面發(fā)一下鏈接就可以。我們在一家媒體的文章評論區(qū)加了一個內(nèi)測鏈接，就涌進來好多人。其中有友商，也有感興趣嘗鮮的。這是國內(nèi)的用戶，我還要拉海外的用戶。等產(chǎn)品上線，我還要去友商的社區(qū)里拉。友商有 80％的問題解決不了，我就不信所有人都只要那 20％。

AI科技評論：怎么用一句話，讓潛在的用戶迅速理解你。

宿文：雖然不是一句很有美感的話，我們就說得明白一點：我們是可以幫你把數(shù)據(jù)庫、后端和前端全部生成完的一個 App或者應(yīng)用生成的工具。

AI 科技評論：對于你個人，創(chuàng)立AIGCode以來什么最困難？

宿文：所有問題都挺困難的。我 23 年 10 月份定下的東西，從產(chǎn)品定位到做預(yù)訓(xùn)練，都是反共識的。在 AIGCode 內(nèi)部，我們是目標(biāo)相同的一撥人在做事，但是我去協(xié)調(diào)外部資源，算力、投資，或者跟合作伙伴交流，有很多人會拆解我們這個東西。國內(nèi)最主要的觀點就是，基礎(chǔ)模型已經(jīng)成熟了，特別是DeepSeek爆火之后，這是重資產(chǎn)的大廠游戲，其他創(chuàng)業(yè)者就應(yīng)該做應(yīng)用。這個事情本身沒錯，但是跟你的認(rèn)知和想做的事兒不是同一類。做事情的任何一個時間段，你始終要傳遞你的想法，傳遞就肯定會有比較大的阻力。

AI 科技評論：目前有看到國內(nèi)什么團隊可能和你們形成正面競爭嗎？

宿文：所有大模型團隊，除了做特殊市場的，參與的都是全球的競爭。不論是 AI Coding，或者大模型的 token 調(diào)用，嚴(yán)肅付費群體都只給全球最好的那個掏錢。要么是同樣的效果，成本能夠做到最低，要么就是同樣的成本，效果能夠做到最好。今天這個時間點，大家還是只愿意為效果付費，而且還是給最好的付費。

但這個賽道目前還是藍(lán)海，大家一旦看到，也會從不同方向殺進來。我們這一輪稀釋完也留了將近 40 點期權(quán)池，希望想做這件事的就別再另起爐灶，真有那兩把刷子，來這就是 founding member。

3

模型要預(yù)訓(xùn)練，產(chǎn)品要長「腦袋」

AI 科技評論：現(xiàn)在的模型完全是自己預(yù)訓(xùn)練的嗎？

宿文：是我們自己預(yù)訓(xùn)練的基模。其實我們 33B 的模型現(xiàn)在已經(jīng)跑起來了，第二個階段會直接升到 66B。這也是 FP8 帶來的紅利，能夠讓訓(xùn)練成本大幅度下降到 1/12。

和原計劃相比，我們當(dāng)前模型的訓(xùn)練時間是1/4，成本是1/3，所以我們只付出了1/12的代價就達(dá)到了同樣的效果。這個要感謝DeepSeek在工程上做的貢獻(xiàn)。

這個模型的聰明程度（我們一般會以 loss function 定義的收斂速度來判斷模型的聰明程度），和它的結(jié)構(gòu)是超越 DeepSeek-V3 和 Claude 3.7 的。這個結(jié)果我們在跑預(yù)訓(xùn)練之前就能預(yù)測到，因為早期網(wǎng)絡(luò)結(jié)構(gòu)的特點我們?nèi)框炞C完了。煉丹嘛，不能等到把丹拿出來才知道有沒有毒，那是草臺班子的做法。

AI 科技評論：你們從預(yù)訓(xùn)練開始自研底座模型，這個過程中最關(guān)注什么？

宿文：我認(rèn)為整個大模型和大模型產(chǎn)品的技術(shù)源動力，還是預(yù)訓(xùn)練。這一代產(chǎn)品最大的特點是它在生成內(nèi)容，但今天模型的“大腦”還沒發(fā)育完全。有人說預(yù)訓(xùn)練已經(jīng)結(jié)束了，或者等這項技術(shù)成熟，但最后會發(fā)現(xiàn)生成內(nèi)容的優(yōu)化全都落在“大腦”上，這是很割裂的。

我們關(guān)注模型的收益，你可以理解為一個人在造內(nèi)容，預(yù)訓(xùn)練就是解決他夠不夠聰明的問題。

AI 科技評論：你們會針對代碼生成做特定的訓(xùn)練嗎？

宿文：會，但這是次要的，首要的問題還是做模型。我們的終局是AGI，第一天做出的東西映射的也是AGI的泛化能力。單獨解決代碼生成這個事情，OpenAI 很早就嘗試過，Code-DaVinci、Text-DaVinci 用了大量的代碼樣本，但那個模型是用不了的。DeepSeek-Coder-V2，236B 參數(shù)，也用不了。這意味著模型的能力是均衡提升，不能通過樣本單方面提升。

如果說特定訓(xùn)練的邏輯是通的，那有了 80％法律的樣本是不是法律能力很強？稅務(wù)、營銷是不是依此類推，各個行業(yè)全都訓(xùn)練一遍不就行了？其實不是的。產(chǎn)品能力會和樣本相關(guān)，但絕對不是某一類樣本堆出來的。單調(diào)回歸會映射到loss function的收斂效率上去，那個是唯一的衡量指標(biāo)。

AI 科技評論：自研模型成本高、耗費算力大，最終效果如果還不如ChatGPT這樣的大語言模型的話，是不是沒必要？

宿文：這是典型的Scaling Law邏輯，要有人，要有卡，要有樣本。但是從24年到今天，手里拿著10萬張H系列卡，有著很龐大、高質(zhì)量的樣本團隊，和很高效戰(zhàn)略的團隊，全球能數(shù)出來兩位數(shù)。但他們沒有給出過任何讓人興奮的、能說是走向AGI的東西。這個行業(yè)在到跳到一個臺階上之后，怎么跳到下一個臺階上？堆算力、樣本是有效的，但還有一種選擇不是靠算力和樣本堆砌出來的。

如果商業(yè)模式是賣 token，讓大家調(diào)用你的 API，背后還有一個云，這樣完整地算賬，那這么做是巨頭最懶惰的戰(zhàn)略，但又是最正確的戰(zhàn)略。這個商業(yè)模式就是要堆樣本、堆算力，沿著 Scaling Law 來做，先干多少算多少?；谠诟鱾€行業(yè)堆砌的樣本，大家通過聊天式的交互會發(fā)現(xiàn)模型性能都還挺強的。但是在技術(shù)層，大家還是會去看網(wǎng)絡(luò)結(jié)構(gòu)、loss function 是什么樣的。技術(shù)創(chuàng)新點才是跳上下一個臺階的方法。

AI 科技評論：那你們有足夠的錢去做預(yù)訓(xùn)練嗎？

宿文：DeepSeek-V3 已經(jīng)把預(yù)訓(xùn)練成本降到了 600 萬美金，我們一方面不需要那么大的模型，另一方面 Infra 技術(shù)還在迭代，還有足夠多的創(chuàng)新。在我的技術(shù)認(rèn)知里，如果訓(xùn)練大模型實際上已經(jīng)變成了 10 萬張 H100 才能做的事，那我們不可能去干。我選擇自己訓(xùn)練，其實就是盤過口袋里的鋼镚，夠用。

AI 科技評論：自訓(xùn)練模型是不是正在成為做AI產(chǎn)品的必然趨勢？

宿文：是，本質(zhì)是因為必須想辦法做產(chǎn)品最主要的組成部分，生成東西的那個“腦袋”。另外反過來看，得到了用戶在商業(yè)場景的反饋之后，發(fā)現(xiàn)問題、迭代產(chǎn)品的時候都是去改造那個腦袋，然后你說那個腦袋是 AGI，我們等等它吧，那你的競爭力肯定是不夠的。產(chǎn)品的閉環(huán)，一定要有那個“腦袋”。

更多內(nèi)容，點擊下方關(guān)注：

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標(biāo)注來源并插入本公眾號名片。