6 月 30 日,百度正式宣布開源 ERNIE 4.5 即文心 4.5 系列模型,覆蓋 47B 和 3B 激活參數(shù)的 MoE(混合專家)模型,以及 0.3B 參數(shù)的稠密模型,并實現(xiàn)了預(yù)訓(xùn)練權(quán)重 + 推理代碼的完全開源。
文心大模型 4.5 系列開源模型國內(nèi)下載地址:https://ai.gitcode.com/theme/1939325484087291906
百度成為繼 DeepSeek 之后又一重磅國產(chǎn)大模型開源。這不僅是數(shù)量的堆疊,更標志著百度在開放生態(tài)、開發(fā)工具、模型訓(xùn)練方法與長文本能力等多方面的全面進化。
文心團隊針對 MoE 架構(gòu)提出了一種創(chuàng)新性的多模態(tài)異構(gòu)模型結(jié)構(gòu),通過跨模態(tài)參數(shù)共享機制實現(xiàn)模態(tài)間知識融合,同時為各單一模態(tài)保留專用參數(shù)空間。此架構(gòu)非常適用于從大語言模型向多模態(tài)模型的持續(xù)預(yù)訓(xùn)練范式,在保持甚至提升文本任務(wù)性能的基礎(chǔ)上,顯著增強多模態(tài)理解能力。
此次開源更像是一個面向全球開發(fā)者的完整交付:從模型能力到訓(xùn)練方式,再到部署支持,百度正將“文心”打造成國際開發(fā)者能夠真正用起來、調(diào)得動、落得下的國產(chǎn)大模型代表。
就在今晚 7:30,CSDN 針對百度此次大手筆開源,邀請到了 AI 行業(yè)知名專家范凱,北京智源人工智能研究院智能評測產(chǎn)品負責(zé)人鄭靖舒,Boolan 首席技術(shù)顧問、資深大模型技術(shù)專家李沫南圍繞文心大模型開源、行業(yè)發(fā)展趨勢等進行深度解讀:
深度解讀文心開源:百度亮出技術(shù)底牌
行業(yè)邏輯大洗牌,AI 如何從實驗室走向街頭巷尾
大模型價格戰(zhàn)終局,免費是唯一的出路嗎?
坐擁全棧技術(shù)布局,百度在 AI 生態(tài)戰(zhàn)爭的優(yōu)勢有多大?
嘉賓介紹
范凱,AI 行業(yè)知名專家、JavaEye 創(chuàng)始人
AI+Web3 領(lǐng)域超級個體、JavaEye 創(chuàng)始人、前 CSDN&丁香園 CTO,8 年 AI 研發(fā),14 年 CTO。
鄭靖舒,北京智源人工智能研究院智能評測產(chǎn)品負責(zé)人
專注于評測體系構(gòu)建、工具研發(fā)與平臺落地,主導(dǎo)智源大模型評測體系的產(chǎn)品化進程,牽頭多項核心評測工作,深度參與國內(nèi)外評測標準制定,致力于推動評測方法的科學(xué)化、系統(tǒng)化與國際化發(fā)展。
李沫南(主持人)Boolan 首席技術(shù)顧問、資深大模型技術(shù)專家
立即預(yù)約直播
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.