新智元報(bào)道

編輯：KingHZ 犀牛

【新智元導(dǎo)讀】一段令人心碎的離別視頻走紅：小女孩與AI玩具的深情告別，揭示了對(duì)話式AI如何悄然融入人類情感世界，預(yù)示著實(shí)時(shí)交互技術(shù)的革命性突破。

一段視頻走紅了，只聽聲音就讓人肝腸寸斷：

如果只聽聲音，還以為只是普通的離別。但這是一個(gè)只會(huì)發(fā)生在AI時(shí)代的場(chǎng)景：

小女孩依依不舍的「姐姐」，其實(shí)是具有語(yǔ)音功能的AI玩具。

人生中第一次「告別」的痛楚，居然來自AI語(yǔ)音模塊！

不過，如今很多AI的交互還停留在「短信」時(shí)代：在輸入框中，輸入問題，AI輸出文字。

但人類溝通中，重要的從來不止是語(yǔ)言內(nèi)容——

在《Silent Messages》「沉默的信息」中，心理學(xué)家Albert Mehrabian提出了「梅拉賓法則」：語(yǔ)言內(nèi)容占溝通中7%的信息，聲音占38%，表情等身體語(yǔ)言占55%。

但正如移動(dòng)互聯(lián)網(wǎng)時(shí)代，iPhone不僅僅依賴其通信的性能，還需要觸控屏、傳感器等交互技術(shù)的突破，AI交互可能是下一個(gè)萬(wàn)億產(chǎn)業(yè)。

從技術(shù)趨勢(shì)來看，多模態(tài)是大勢(shì)所趨。與之同時(shí)，多模態(tài)大模型必然從「生成」演進(jìn)到「交互」。

下一個(gè)關(guān)鍵演進(jìn)方向，就是實(shí)時(shí)交互能力的普及。

多模態(tài)LLM，讓計(jì)算機(jī)出現(xiàn)了類人的實(shí)時(shí)語(yǔ)音對(duì)話能力。實(shí)時(shí)互動(dòng)，早已不再局限在人與人之間。隨著技術(shù)發(fā)展，一個(gè)新AI物種誕生了——

具有「活人感」的對(duì)話式AI爆發(fā)了。

今年，不止是智能體元年，也將會(huì)成為對(duì)話式AI的元年。

次次踩中熱點(diǎn)的大會(huì)

10月31日，聲網(wǎng)與RTE開發(fā)者社區(qū)聯(lián)合主辦了Convo AI&RTE 2025——第十一屆實(shí)時(shí)互聯(lián)網(wǎng)大會(huì)。

今年的大會(huì)依舊十分火爆，現(xiàn)場(chǎng)座無虛席，很多朋友只能站著聽。

左右滑動(dòng)查看

RTE2025大會(huì)覆蓋實(shí)時(shí)互聯(lián)網(wǎng)以及對(duì)話式AI全生態(tài)，推出相關(guān)論壇及周邊活動(dòng)共計(jì)20余場(chǎng)，包括技術(shù)開發(fā)、趨勢(shì)洞見、行業(yè)觀察、創(chuàng)業(yè)投資等多維度話題。

2015年，聲網(wǎng)把面向?qū)崟r(shí)音視頻的RTC開發(fā)者大會(huì)帶到中國(guó)。從那時(shí)算起，這場(chǎng)年度盛會(huì)已連續(xù)舉辦十余屆，期間從未間斷過。

大會(huì)起初專注于WebRTC/RTC底層技術(shù)交流。

到2020年，由「RTC大會(huì)」升級(jí)為「RTE實(shí)時(shí)互聯(lián)網(wǎng)大會(huì)」，議題從通信技術(shù)擴(kuò)展為「實(shí)時(shí)互動(dòng)」的廣闊場(chǎng)景，逐步成長(zhǎng)為全球規(guī)模最大的實(shí)時(shí)互聯(lián)網(wǎng)盛會(huì)，累計(jì)覆蓋200+行業(yè)場(chǎng)景、影響200萬(wàn)+開發(fā)者，分論壇擴(kuò)展至20+。

2024年第十屆以「AI愛」為主題，系統(tǒng)呈現(xiàn)RTE+AI能力圖譜與實(shí)踐脈絡(luò)，并延續(xù)了20+論壇的體量。

今年，大會(huì)進(jìn)一步升級(jí)為「Convo AI & RTE 2025」（實(shí)時(shí)互聯(lián)網(wǎng)大會(huì)暨對(duì)話式AI論壇）。

從名字的變遷可以看出，聲網(wǎng)在不丟失原有RTE技術(shù)與行業(yè)內(nèi)容的基礎(chǔ)上，把「對(duì)話式AI」置于了舞臺(tái)中央，面向更高遠(yuǎn)的人機(jī)對(duì)話范式與產(chǎn)業(yè)落地。

現(xiàn)在，聲網(wǎng)年服務(wù)分鐘數(shù)首次突破1萬(wàn)億，RTE的基礎(chǔ)設(shè)施屬性被進(jìn)一步夯實(shí)，也印證了「RTE × 對(duì)話式AI」將成為下一階段的主旋律與趨勢(shì)。

最絕的是，RTE大會(huì)每年好像都能精準(zhǔn)「押中」接下來的熱點(diǎn)，成為整個(gè)實(shí)時(shí)音視頻行業(yè)的風(fēng)向標(biāo)。

比如，2015年第一屆大會(huì)上，聲網(wǎng)說直播連麥會(huì)成主流玩法，結(jié)果第二年這就火了，成為直播界的風(fēng)口。

2016年，他們覺得在線教育會(huì)是大趨勢(shì)，果然第二年在線教育就爆炸式增長(zhǎng)。

到了2023年，大會(huì)主題是智能、高清，又一次神準(zhǔn)地預(yù)測(cè)了未來——2024年初，多模態(tài)技術(shù)大爆發(fā)，Sora和GPT-4o這些新東西刷爆了輿論，多模態(tài)成了各大AI模型玩家的重點(diǎn)發(fā)力方向。

在這次大會(huì)上，聲網(wǎng)CEO趙斌分享了行業(yè)趨勢(shì)：

對(duì)話式AI將成為下一代AIInfra重要部分。

AI新物種

對(duì)話式AI

在大會(huì)上，聲網(wǎng)CEO趙斌對(duì)當(dāng)前行業(yè)做出重大趨勢(shì)判斷：

對(duì)話式 AI 正處于從「正常對(duì)話」 到 「聲情并茂」的關(guān)鍵一躍， 相關(guān)行業(yè)即將爆發(fā)。

在過去一年，開發(fā)者和市場(chǎng)對(duì)于「對(duì)話式AI」的熱情高漲。

聲網(wǎng)的RTE等相關(guān)服務(wù)年度分鐘數(shù)，首次突破1萬(wàn)億分鐘。

今年第三季度，聲網(wǎng)的對(duì)話式AI用量環(huán)比增長(zhǎng)了151%！

ElevenLabs黑客松，在比較短的時(shí)間內(nèi)孵化了300多個(gè)各種創(chuàng)業(yè)項(xiàng)目和場(chǎng)景。

開源的對(duì)話式語(yǔ)音智能體TEN Framework和TEN Agent，多次登頂GitHub排行榜，在對(duì)話式AI行業(yè)社區(qū)引起了很多關(guān)注。

對(duì)話式AI，已經(jīng)引起了企業(yè)的巨大關(guān)注，在很多行業(yè)展現(xiàn)了巨大的潛力和前景，在這一領(lǐng)域，下圖就是企業(yè)開始進(jìn)行探索和嘗試的比例。

對(duì)話式AI&Voice Agent創(chuàng)業(yè)公司爆發(fā)式增長(zhǎng)，產(chǎn)業(yè)生態(tài)繁榮發(fā)展，行業(yè)煥發(fā)新春：

全球科技巨頭普遍在布局相關(guān)領(lǐng)域，努力把對(duì)話式AI的體驗(yàn)帶給所有消費(fèi)者和開發(fā)者，比比皆是。

就像GenAI早期的內(nèi)容生產(chǎn)創(chuàng)造新的市場(chǎng)一樣，對(duì)話式AI未來潛力巨大，同樣創(chuàng)造新的市場(chǎng)。

來自于LLM天然的對(duì)話智能，市場(chǎng)潛力不可估量。

未來三大賽道

千億美元全球市場(chǎng)

隨著AI加入實(shí)時(shí)互動(dòng)，實(shí)時(shí)互動(dòng)的躍遷之路正在開啟。

對(duì)話式AI的機(jī)會(huì)在哪里？

在大會(huì)上，展示了業(yè)界各種各樣的探索，其中在RTE基礎(chǔ)設(shè)施上的Convo AI場(chǎng)景正在紛至沓來。

而在眾多應(yīng)用場(chǎng)景中，情感陪伴、智能硬件、在線教育將率先實(shí)現(xiàn)對(duì)話式AI規(guī)?；涞?。

未來幾十年，聲網(wǎng)篤定判斷，AI陪伴賽道會(huì)有非常持續(xù)和長(zhǎng)足的發(fā)展。

一些分析師和投資機(jī)構(gòu)的判斷，甚至還要樂觀很多。

比如，方舟投資（ARK Invest）的報(bào)告顯示，AI陪伴賽道有機(jī)會(huì)暴漲5000倍，從3000萬(wàn)美元上漲到700-1500億美元。

此外，大家可以觀察到這一領(lǐng)域的應(yīng)用量和活躍度的增加。

新應(yīng)用如果不做深度優(yōu)化和體驗(yàn)保障，存活率也很有挑戰(zhàn)。

最近兩年，AI硬件也開始逐漸出現(xiàn)在市場(chǎng)上。

品類也出現(xiàn)了更多元化的發(fā)展，但熱度最高的仍然是養(yǎng)成和陪伴的AI硬件。

聲網(wǎng)推出了針對(duì)硬件開發(fā)的板塊和模組，就是對(duì)話式AI的開發(fā)套件。

如今，對(duì)話式AI已經(jīng)能夠提供豐富的能力。

除了一般的對(duì)話以外，音樂、唱歌等等形式也已經(jīng)成為一種可能，從而為AI陪伴和養(yǎng)成場(chǎng)景提供更好的真實(shí)體驗(yàn)。

在游戲領(lǐng)域，對(duì)話式AI已經(jīng)有了很多探索和創(chuàng)新。

對(duì)話式AI將會(huì)給所有的游戲探索增添更多的趣味。無論是NPC對(duì)話能力，還是場(chǎng)景交互體驗(yàn)，對(duì)話式AI都能提供全新的場(chǎng)景和更好的體驗(yàn)。甚至一些從業(yè)者，已經(jīng)從底層思考如何重構(gòu)游戲的體驗(yàn)和場(chǎng)景。

游戲和社交的邊界也會(huì)變得越來越模糊。

過去的一年，許多垂類的專用AI助理也取得突破性的進(jìn)展。比如，螞蟻AQ，短時(shí)間內(nèi)就有大量的下載規(guī)模，專用助理方向未來還有巨大的空間。

生成式AI特別是對(duì)話式AI，目前正在滲入教育領(lǐng)域的各個(gè)方面，創(chuàng)造更加豐富的擬人化教學(xué)場(chǎng)景。

除了最簡(jiǎn)單、最直接的口語(yǔ)培訓(xùn)以外，AI數(shù)字人也開始為每個(gè)學(xué)生提供廉價(jià)、普及的擬人化教學(xué)場(chǎng)景。

AI教學(xué)硬件，也在推陳出新，不斷有些新的嘗試和探索。

在大會(huì)現(xiàn)場(chǎng)，趙斌演示了AI客服的功能。

在實(shí)時(shí)交互與場(chǎng)景理解方面，當(dāng)前對(duì)話式AI已經(jīng)取得了突破性進(jìn)展。

在成本和效率上，AI客服終于活出了人樣：單次服務(wù)成本降低至0.3元；平均處理時(shí)間降低了15%-25%。

此外，高擬人度實(shí)時(shí)翻譯已在特定場(chǎng)景實(shí)用化；對(duì)話式AI+車載智能助理，駕駛體驗(yàn)更安全更快樂；對(duì)話式AI還可以輔助生活，拓展殘障人士生活和工作的邊界。

未來已來，AI實(shí)時(shí)交互孕育巨大的機(jī)會(huì)。

OpenAI引爆新賽道

聲網(wǎng)已深耕多年

要把RTE大會(huì)辦成對(duì)話式AI行業(yè)的風(fēng)向標(biāo)，靠的絕不是僅僅改個(gè)會(huì)名，而是聲網(wǎng)在對(duì)話式AI領(lǐng)域的長(zhǎng)期深耕。

轉(zhuǎn)折點(diǎn)出現(xiàn)在去年5月，當(dāng)時(shí)OpenAI把GPT-4o ——語(yǔ)音-視覺-文本實(shí)時(shí)多模態(tài)——推到臺(tái)前，實(shí)時(shí)、自然的人機(jī)對(duì)話成為了行業(yè)的新共識(shí)。

隨之在2024年10月份，OpenAI面向開發(fā)者推出Realtime API公測(cè)，聲網(wǎng)的兄弟公司Agora與Twilio、LiveKit一起成為首批三家官方集成伙伴，率先把低時(shí)延語(yǔ)音對(duì)話能力帶到了實(shí)際應(yīng)用里，也為聲網(wǎng)后續(xù)產(chǎn)品化鋪好「底座」。

在國(guó)內(nèi)生態(tài)，聲網(wǎng)同步推進(jìn)本土化的「Realtime路線」。

有了聲網(wǎng)的底座加持，MiniMax的語(yǔ)音對(duì)話成了一個(gè)亮點(diǎn)：開口就回、幾乎「秒響應(yīng)」。就算在信號(hào)不穩(wěn)或環(huán)境嘈雜的場(chǎng)景里，也能和AI助手說得清、聽得準(zhǔn)、連得穩(wěn)。

依托MiniMax新一代語(yǔ)音大模型，AI說話更像真人——音色逼真、語(yǔ)氣自然，中英夾雜等多語(yǔ)種切換也不打結(jié)。你還可以一鍵調(diào)語(yǔ)速、隨心換聲音，操作簡(jiǎn)單、效果到位。

另一個(gè)大家熟悉的案例是智譜的AI智能助手。

去年8月，智譜率先把視頻通話帶進(jìn)國(guó)內(nèi)AI助手，得益于他們強(qiáng)大的音視頻理解與情感語(yǔ)音模型，這個(gè)AI助手不只會(huì)聽你說，還能「看懂」你所處的環(huán)境。

在接入聲網(wǎng)的對(duì)話式AI技術(shù)后，智譜的AI助手通話時(shí)延更低、對(duì)話更順滑，幾乎像和真人聊天一樣自然。

上線三個(gè)月，就已吸引100萬(wàn)用戶使用，十分火爆。

對(duì)話式AI引擎

在對(duì)話式 AI 迎來爆發(fā)之際，行業(yè)仍然面臨著一些挑戰(zhàn)，例如行業(yè)數(shù)據(jù)顯示，僅21%的用戶對(duì)現(xiàn)有AI對(duì)話體驗(yàn)滿意，部分服務(wù)的用戶流失率高到「不可接受」。

要實(shí)現(xiàn)真正的「類人對(duì)話」，企業(yè)必須系統(tǒng)性攻克多項(xiàng)復(fù)雜問題：

低延遲響應(yīng)、自然打斷、上下文管理、情感理解與表達(dá)等。

圍繞這些技術(shù)難點(diǎn)與熱門場(chǎng)景，聲網(wǎng)一直在持續(xù)優(yōu)化他們的對(duì)話式AI服務(wù)。

在RTE2025的RTE&對(duì)話式AI產(chǎn)品分論壇上，聲網(wǎng)也相繼發(fā)布了最新版的對(duì)話式AI引擎2.0版，對(duì)話式AI開發(fā)套件、對(duì)話式AI Studio、對(duì)話式AI模型評(píng)測(cè)平臺(tái)。

對(duì)話式AI引擎2.0新增了預(yù)注冊(cè)聲紋識(shí)別、情緒識(shí)別，不僅讓AI知道是誰(shuí)在說話，更懂得開口時(shí)機(jī)，顯著優(yōu)化誤打斷體驗(yàn)。同時(shí)還支持國(guó)內(nèi)外更豐富的ASR、TTS供應(yīng)商選擇，實(shí)現(xiàn)更多語(yǔ)種與音色的選擇。

同時(shí)，針對(duì)熱門的AI硬件場(chǎng)景，為了進(jìn)一步降低落地門檻，聲網(wǎng)在大會(huì)發(fā)布了新版的對(duì)話式AI開發(fā)套件——R1-4G，該套件基于紫光展銳8910高性能AI芯片，融合4G通信與CPU，讓AI硬件隨身攜帶，實(shí)現(xiàn)隨時(shí)音視頻交互。

相比今年3月發(fā)布的R1版，R1-4G采用單芯片一體化，幫助開發(fā)者快速集成，實(shí)現(xiàn)硬件「開口說話」。其核心價(jià)值在于擺脫場(chǎng)景限制，借鑒聲網(wǎng)在兒童手表超60%市場(chǎng)經(jīng)驗(yàn)，優(yōu)化音視頻通話與4G適配，擁有極致對(duì)話體驗(yàn)（延遲650ms，打斷340ms，聲紋鎖定）。

對(duì)話式AI模型評(píng)測(cè)平臺(tái)3.0則是在提供橫向評(píng)測(cè)ASR、LLM、TTS各類主流模型的延遲響應(yīng)、詞錯(cuò)誤率、字母數(shù)字性能的基礎(chǔ)上，

新增了價(jià)格預(yù)估計(jì)算器，開發(fā)者可以根據(jù)實(shí)際的業(yè)務(wù)需求，預(yù)設(shè)人和AI的談話比例，價(jià)格預(yù)估計(jì)算器會(huì)在此基礎(chǔ)上給出總價(jià)與各模塊的單價(jià)，讓你更好地了解到錢都花在了哪里。

左右滑動(dòng)查看

走向「超級(jí)助手」

在今年的RTE大會(huì)上發(fā)布的《對(duì)話式AI發(fā)展白皮書》，把技術(shù)、產(chǎn)品、生態(tài)與場(chǎng)景系統(tǒng)梳理了一遍，也講清楚了行業(yè)的共識(shí)——

下一代人機(jī)交互不再只是「看屏幕、敲鍵盤」，而是「會(huì)聽、會(huì)看、會(huì)說」的實(shí)時(shí)多模態(tài)。

白皮書獲取方式，見評(píng)論區(qū)置頂留言。

RTE正從「可選項(xiàng)」變成「基礎(chǔ)設(shè)施」，音視頻對(duì)話正在成為一切智能應(yīng)用的標(biāo)配。

在終端側(cè)，耳機(jī)、手機(jī)、家居設(shè)備不斷下放聽見、理解、合成的硬件加速能力，讓「開口—回應(yīng)—執(zhí)行」的鏈路真正可用、好用。

配套超級(jí)AI助理的硬件會(huì)不會(huì)有什么完全創(chuàng)新的形態(tài)？

會(huì)不會(huì)出現(xiàn)適應(yīng)AI的新型計(jì)算終端，就像智能手機(jī)取代PC成為主流設(shè)備一樣？

聲網(wǎng)更加傾向全新交互形態(tài)下的硬件形態(tài)，可能不太會(huì)很快出現(xiàn)。

雖然AI硬件進(jìn)行個(gè)人助理創(chuàng)新并不容易，但預(yù)期對(duì)話式AI和相關(guān)能力引入硬件形態(tài)，將會(huì)帶來接下來兩年的爆發(fā)式增長(zhǎng)。

全新的使用習(xí)慣正在逐步開始養(yǎng)成，這些都是AI硬件爆發(fā)的積極因素。

可以看到AI眼鏡引入對(duì)話式AI作為操控的主要交互模式以后，提供了很多新場(chǎng)景下的使用便利和使用價(jià)值。

具身智能也非常獨(dú)特，并不需要經(jīng)過互聯(lián)網(wǎng)的傳輸，可以讓AI從終端以離線的方式與人面對(duì)面互動(dòng)和對(duì)話。

但這樣的對(duì)話需要更多的語(yǔ)言處理，仍然依賴于實(shí)時(shí)互動(dòng)的降噪回聲、增益控制這些基礎(chǔ)技術(shù)能力。

實(shí)時(shí)交互的門檻被持續(xù)拉低，開發(fā)者可以把更多精力放在體驗(yàn)設(shè)計(jì)與業(yè)務(wù)閉環(huán)上。

歷史每一次技術(shù)躍遷，都是基礎(chǔ)設(shè)施與應(yīng)用范式的共振時(shí)刻。

今天，RTE成為AI對(duì)話的底座，聲網(wǎng)站在實(shí)時(shí)交互的心臟位置；當(dāng)機(jī)器真正「會(huì)聽、會(huì)看、會(huì)說」，

下一個(gè)萬(wàn)億級(jí)市場(chǎng)，或許正在一聲「你好」中悄然開啟。

當(dāng)AI模型廠商、實(shí)時(shí)互動(dòng)廠商與應(yīng)用開發(fā)者各司其職、同頻共振，對(duì)話式AI的產(chǎn)業(yè)閉環(huán)已初現(xiàn)雛形。

歷史證明，真正的巨浪，總由分工成熟的生態(tài)共同掀起——

而這一次，浪潮的名字叫「對(duì)話式AI」。