始智AI wisemodel.cn開源社區(qū)

始智AI wisemodel.cn社區(qū)是源自中國(guó)的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長(zhǎng)。，A800/H20等算力6.25元/卡時(shí)，支持在線微調(diào)訓(xùn)練，及線部署和。

在人工智能飛速發(fā)展的當(dāng)下，大模型已成為推動(dòng)各行業(yè)變革的核心力量。近日，百度文心4.5系列模型正式開源。該系列開源模型共10款，涵蓋了激活參數(shù)規(guī)模分別為47B和3B的混合專家（MoE）模型（最大的模型總參數(shù)量為424B），以及0.3B的稠密參數(shù)模型。

模型權(quán)重按照Apache 2.0協(xié)議開源，支持開展學(xué)術(shù)研究和產(chǎn)業(yè)應(yīng)用，此外，基于飛槳提供開源的產(chǎn)業(yè)級(jí)開發(fā)套件，廣泛兼容多種芯片，降低后訓(xùn)練和部署門檻?，F(xiàn)已上線始智AI-wisemodel開源社區(qū)，歡迎使用和體驗(yàn)。

模型地址

https://wisemodel.cn/organization/PaddlePaddle

01.

模型整體介紹

針對(duì) MoE 架構(gòu)，百度提出了一種創(chuàng)新性的多模態(tài)異構(gòu)模型結(jié)構(gòu)，通過跨模態(tài)參數(shù)共享機(jī)制實(shí)現(xiàn)模態(tài)間知識(shí)融合，同時(shí)為各單一模態(tài)保留專用參數(shù)空間。此架構(gòu)非常適用于從大語言模型向多模態(tài)模型的持續(xù)預(yù)訓(xùn)練范式，在保持甚至提升文本任務(wù)性能的基礎(chǔ)上，顯著增強(qiáng)多模態(tài)理解能力。

文心4.5系列模型均使用飛槳深度學(xué)習(xí)框架進(jìn)行高效訓(xùn)練、推理和部署。在大語言模型的預(yù)訓(xùn)練中，模型FLOPs利用率（MFU）達(dá)到47%。

實(shí)驗(yàn)結(jié)果顯示，該系列模型在多個(gè)文本和多模態(tài)基準(zhǔn)測(cè)試中達(dá)到SOTA水平，在指令遵循、世界知識(shí)記憶、視覺理解和多模態(tài)推理任務(wù)上效果尤為突出。文心4.5系列模型在Benchmark上效果體現(xiàn)：

02.

核心技術(shù)亮點(diǎn)

多模態(tài)混合專家模型預(yù)訓(xùn)練

文心4.5通過在文本和視覺兩種模態(tài)上進(jìn)行聯(lián)合訓(xùn)練，更好地捕捉多模態(tài)信息中的細(xì)微差別，提升在文本生成、圖像理解以及多模態(tài)推理等任務(wù)中的表現(xiàn)。

為了讓兩種模態(tài)學(xué)習(xí)時(shí)互相提升，百度 提出 了 一種多 模態(tài)異構(gòu)混合專家模型結(jié)構(gòu)，結(jié)合了多維旋轉(zhuǎn)位置編碼，并且在損失函數(shù)計(jì)算時(shí)，增強(qiáng)了不同專家間的正交性，同時(shí)對(duì)不同模態(tài)間的詞元進(jìn)行平衡優(yōu)化，達(dá)到多模態(tài)相互促進(jìn)提升的目的。

高效訓(xùn)練推理框架

為了支持文心4.5模型的高效訓(xùn)練，百度提出了異構(gòu)混合并行和多層級(jí)負(fù)載均衡策略。通過節(jié)點(diǎn)內(nèi)專家并行、顯存友好的流水線調(diào)度、FP8混合精度訓(xùn)練和細(xì)粒度重計(jì)算等多項(xiàng)技術(shù)，顯著提升了預(yù)訓(xùn)練吞吐。

推理方面，百度提出了多專家并行協(xié)同量化方法和卷積編碼量化算法，實(shí)現(xiàn)了效果接近無損的4-bit量化和2-bit量化。此外，文心還實(shí)現(xiàn)了動(dòng)態(tài)角色轉(zhuǎn)換的預(yù)填充、解碼分離部署技術(shù)，可以更充分地利用資源，提升文心4.5 MoE模型的推理性能?；陲w槳框架，文心4.5在多種硬件平臺(tái)均表現(xiàn)出優(yōu)異的推理性能。

針對(duì)模態(tài)的后訓(xùn)練

為了滿足實(shí)際場(chǎng)景的不同要求，文心對(duì)預(yù)訓(xùn)練模型進(jìn)行了針對(duì)模態(tài)的精調(diào)。其中，大語言模型針對(duì)通用語言理解和生成進(jìn)行了優(yōu)化，多模態(tài)大模型側(cè)重于視覺語言理解，支持思考和非思考模式。每個(gè)模型采用了SFT、DPO或UPO（統(tǒng)一偏好優(yōu)化技術(shù)）的多階段后訓(xùn)練。

03.

完整的開發(fā)工具鏈

基于多年飛槳開源技術(shù)與生態(tài)系統(tǒng)積累，此次文心4.5模型系列開源同 步升級(jí)發(fā)布文心大模型開發(fā)套件ERNIEKit和大模型高效部署套件FastDeploy，為文心4.5模型及開發(fā)者提供 開箱即用的工具和全流程支持。

1、

基于飛槳的

文心大模型開發(fā)套件ERNIEKit

ERNIEKit為用戶提供預(yù)訓(xùn)練、全參精調(diào)（SFT）、直接偏好優(yōu)化（DPO）、參數(shù)高效精調(diào)與對(duì)齊（SFT-LoRA/DPO-LoRA）、訓(xùn)練感知量化（QAT）和訓(xùn)練后量化（PTQ）等大模型全流程開發(fā)支持。

使用示例：

# 下載模型
huggingface-cli download baidu/ERNIE-4.5-0.3B-Paddle --local-dir baidu/ERNIE-4.5-0.3B-Paddle
# 一行命令啟動(dòng)訓(xùn)練
erniekit train examples/configs/ERNIE-4.5-0.3B/sft/run_sft_8k.yaml

2、

基于飛槳的

大模型高效部署套件FastDeploy

FastDeploy提供了一行代碼開箱即用的多硬件部署體驗(yàn)，使用接口兼容vLLM和OpenAI協(xié)議。針對(duì)旗艦?zāi)Ｐ吞峁┝水a(chǎn)業(yè)級(jí)多級(jí)負(fù)載均衡的PD分離部署方案，支持豐富的低比特量化推理、上下文緩存、投機(jī)解碼等加速技術(shù)。

本地推理示例：

from fastdeploy import LLM, SamplingParams
prompt = "把李白的靜夜思改寫為現(xiàn)代詩"
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
llm = LLM(model="baidu/ERNIE-4.5-0.3B-Paddle", max_model_len=32768)
outputs = llm.generate(prompt, sampling_params)?

服務(wù)部署示例：

python -m fastdeploy.entrypoints.openai.api_server \
    --model "baidu/ERNIE-4.5-0.3B-Paddle" \
    --max-model-len 32768 \
    --port 9904

----- END -----

wisemodel相關(guān)：

系統(tǒng)升級(jí)：

3、

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長(zhǎng)期堅(jiān)持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開源社區(qū)的志愿者計(jì)劃和開源共創(chuàng)計(jì)劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請(qǐng)加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動(dòng)態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴(kuò)大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長(zhǎng)期需要技術(shù)、運(yùn)營(yíng)等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運(yùn)營(yíng)的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡(jiǎn)歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵(lì)高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個(gè)人等，在wisemodel平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會(huì)AI大數(shù)據(jù)專委會(huì)副秘書長(zhǎng)劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高?？蒲性核?、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個(gè)人開發(fā)者，以及政府部門、學(xué)會(huì)協(xié)會(huì)、聯(lián)盟、基金會(huì)等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動(dòng)查看