夜夜躁很很躁日日躁麻豆,精品人妻无码,制服丝袜国产精品,成人免费看www网址入口

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

Huggingface 開源 SOTA 級別 3B LLM

0
分享至

Huggingface 發(fā)布 SmolLM3 3B LLM
性能上超越 Llama-3.2-3B 和 Qwen2.5-3B,同時與更大的 4B 模型 Gemma3 持平
除了開源模型本身外,還開源了使用公共數(shù)據(jù)集和訓(xùn)練框架訓(xùn)練模型的方法

- 3B 模型在 11T Toekn 上訓(xùn)練
- 具備雙模式推理的指令模型
-支持 6 種語言的多語言
- 最長支持 128K 上下文

架構(gòu)與訓(xùn)練細(xì)節(jié)

采用 Transformer 解碼器架構(gòu),基于 Llama 并做了多項優(yōu)化:
Grouped Query Attention : 替換多頭注意力,減少推理時 KV cache 占用。
NoPE: 部分層移除旋轉(zhuǎn)位置編碼,提升長上下文表現(xiàn)。
Intra-Document Masking: 保證同一序列不同文檔間不可互相注意,提升訓(xùn)練穩(wěn)定性。
Embedding 層無權(quán)重衰減: 參考 OLMo 2,提升訓(xùn)練穩(wěn)定性。
訓(xùn)練配置:2.36M tokens 全局 batch,序列長度 4096,AdamW 優(yōu)化器,24 天內(nèi)用 384 張 H100 GPU 訓(xùn)練。

數(shù)據(jù)混合與多階段訓(xùn)練

采用三階段訓(xùn)練策略,逐步調(diào)整 Web、代碼、數(shù)學(xué)數(shù)據(jù)比例,總計訓(xùn)練 11.2T tokens。
階段 1:以 Web 數(shù)據(jù)為主,奠定基礎(chǔ)能力。
階段 2:提升高質(zhì)量數(shù)學(xué)和代碼數(shù)據(jù)比例。
階段 3:進(jìn)一步提升數(shù)學(xué)和代碼數(shù)據(jù)占比,加入推理數(shù)據(jù)。
訓(xùn)練后期進(jìn)行“mid-training”,分別針對長上下文和推理能力做短期訓(xùn)練。

長上下文與推理能力提升

長上下文擴展:通過兩階段訓(xùn)練將上下文窗口從 4k 擴展到 64k,并用 YARN 技術(shù)在推理時支持到 128k。

后訓(xùn)練與模型對齊

采用雙模式 chat 模板,用戶可通過 `/think`和 `/no_think`切換模式。
支持工具調(diào)用(XML/Python 工具)。
SFT 階段用 1.8B tokens 進(jìn)行監(jiān)督微調(diào),平衡推理與非推理能力。
用 Anchored Preference Optimization (APO) 進(jìn)行偏好對齊,提升模型輸出質(zhì)量。
通過模型合并(MergeKit),結(jié)合 APO 檢查點和長上下文能力強的中間模型,最終模型兼顧推理和長上下文表現(xiàn)。

詳細(xì)信息:huggingface.co/blog/smollm3



特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點推薦
震驚!網(wǎng)傳廣東一工廠強制全員繳納社保,不再提供中晚餐和住宿…

震驚!網(wǎng)傳廣東一工廠強制全員繳納社保,不再提供中晚餐和住宿…

火山詩話
2025-08-30 08:41:40
孟村女子喪禮更多畫面:白色棺木,弟弟癱倒在地,婆家寫4個大字

孟村女子喪禮更多畫面:白色棺木,弟弟癱倒在地,婆家寫4個大字

古希臘掌管松餅的神
2025-08-29 16:04:18
解讀|他信家族走到十字路口:佩通坦被解除總理職位,下月還有一關(guān)

解讀|他信家族走到十字路口:佩通坦被解除總理職位,下月還有一關(guān)

澎湃新聞
2025-08-30 07:56:28
中朝保密到最后一刻,朝鮮領(lǐng)導(dǎo)人訪華消息一出,韓國朝野一片嘩然

中朝保密到最后一刻,朝鮮領(lǐng)導(dǎo)人訪華消息一出,韓國朝野一片嘩然

墨蘭史書
2025-08-29 11:40:03
劉強東滿面春風(fēng)現(xiàn)身宿遷!在京東旗艦店參觀,身旁女秘書漂亮出鏡

劉強東滿面春風(fēng)現(xiàn)身宿遷!在京東旗艦店參觀,身旁女秘書漂亮出鏡

火山詩話
2025-08-30 05:59:13
大一女生開學(xué)穿“洛麗塔”,學(xué)長拒絕幫忙搬行李,網(wǎng)友:干得漂亮

大一女生開學(xué)穿“洛麗塔”,學(xué)長拒絕幫忙搬行李,網(wǎng)友:干得漂亮

妍妍教育日記
2025-08-29 20:30:53
秦嶺有多重要?全國那么多座山,為啥只有秦嶺敢稱為“中華龍脈”

秦嶺有多重要?全國那么多座山,為啥只有秦嶺敢稱為“中華龍脈”

一只番茄魚
2025-08-29 11:14:28
中國氣象局啟動重大氣象災(zāi)害(臺風(fēng))Ⅳ級應(yīng)急響應(yīng),廣東、廣西、海南有大到暴雨

中國氣象局啟動重大氣象災(zāi)害(臺風(fēng))Ⅳ級應(yīng)急響應(yīng),廣東、廣西、海南有大到暴雨

魯中晨報
2025-08-30 13:00:09
現(xiàn)在,央國企百億大項目已經(jīng)到了沒人敢接盤的程度。

現(xiàn)在,央國企百億大項目已經(jīng)到了沒人敢接盤的程度。

流蘇晚晴
2025-08-29 18:44:09
聯(lián)邦法院:違法!特朗普:上訴!美國的全球關(guān)稅戰(zhàn)打成了國內(nèi)司法戰(zhàn)?

聯(lián)邦法院:違法!特朗普:上訴!美國的全球關(guān)稅戰(zhàn)打成了國內(nèi)司法戰(zhàn)?

上觀新聞
2025-08-30 14:32:13
克宮:普京將在中國會見多國領(lǐng)導(dǎo)人

克宮:普京將在中國會見多國領(lǐng)導(dǎo)人

參考消息
2025-08-30 13:48:01
緊急澄清!“我是章建平,但我沒有買寒武紀(jì),更沒有爆賺50億元”

緊急澄清!“我是章建平,但我沒有買寒武紀(jì),更沒有爆賺50億元”

每日經(jīng)濟新聞
2025-08-30 10:18:13
工資回到十年前

工資回到十年前

觀人隨筆
2025-08-26 21:09:04
山東省蓬萊第二中學(xué)通報“網(wǎng)傳教師與學(xué)生不文明聊天記錄”:涉事教師已被辭退

山東省蓬萊第二中學(xué)通報“網(wǎng)傳教師與學(xué)生不文明聊天記錄”:涉事教師已被辭退

界面新聞
2025-08-30 07:22:36
日本小伙把中國人揍成了豬頭,竟然還贏得國人的贊揚

日本小伙把中國人揍成了豬頭,竟然還贏得國人的贊揚

金召點評
2025-08-30 04:00:03
廣州暫停實施汽車“置換更新”補貼政策

廣州暫停實施汽車“置換更新”補貼政策

界面新聞
2025-08-30 09:25:39
金正恩還沒抵華,9國高層拒參閱兵,中方送出一句話,信號不簡單

金正恩還沒抵華,9國高層拒參閱兵,中方送出一句話,信號不簡單

吳欣純Deborah
2025-08-29 13:08:46
日本干擾九三閱兵失??!30個歐洲國確定出席央媒四字回應(yīng)大快人心

日本干擾九三閱兵失??!30個歐洲國確定出席央媒四字回應(yīng)大快人心

壹知眠羊
2025-08-29 11:29:56
人民日報點名幾天,龐眾望再破天花板,讓整個學(xué)術(shù)界“沉默”了

人民日報點名幾天,龐眾望再破天花板,讓整個學(xué)術(shù)界“沉默”了

寒士之言本尊
2025-08-29 14:00:16
教師與學(xué)生不文明聊天記錄后續(xù):聊天記錄不忍直視,教師被辭退

教師與學(xué)生不文明聊天記錄后續(xù):聊天記錄不忍直視,教師被辭退

史行途
2025-08-30 12:26:59
2025-08-30 15:16:49
歸藏的AI工具箱 incentive-icons
歸藏的AI工具箱
關(guān)注人工智能、LLM 、 AI 圖像視頻和設(shè)計
165文章數(shù) 30關(guān)注度
往期回顧 全部

科技要聞

研發(fā)創(chuàng)下新高 華為上半年利潤為什么減少了

頭條要聞

克宮預(yù)告普京在中國部分安排:將會見多國領(lǐng)導(dǎo)人

頭條要聞

克宮預(yù)告普京在中國部分安排:將會見多國領(lǐng)導(dǎo)人

體育要聞

淘汰曼聯(lián)的英乙隊,仍然沒有忘記張恩華

娛樂要聞

鹿晗關(guān)曉彤七夕未同框 關(guān)系成謎猜不透

財經(jīng)要聞

美上訴法院裁定特朗普關(guān)稅非法!

汽車要聞

售11.99萬元起 大眾全新凌渡L正式上市

態(tài)度原創(chuàng)

手機
本地
家居
親子
公開課

手機要聞

高通驍龍 8 Elite Gen 5 旗艦芯片曝光:安兔兔跑分 400W+

本地新聞

換個城市過夏天 | 夏末狂歡,浪在阜新黃家溝!

家居要聞

提升功能 靈活居住環(huán)境

親子要聞

社會興趣發(fā)展敏感期

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進(jìn)入關(guān)懷版 国产在线精品第一区二区| 免费看av青青| 暴力强在线线播放| 国产亚洲欧美人成在线| 久久国语露脸国产精品电影| 色yeye香蕉凹凸视频在线观看| gogogo视频在线观看| 国产毛1卡2卡3卡4卡免费观看| 少妇好滑好紧好深一区二区| 国产免费爽爽视频在线观看| 亚无码乱人伦一区二区| 亚洲高清无码一区二区三区免费视频 | 日韩成人午夜影院| 77777777高清视频在线| 精品日本一区二区三区在线观看| 绯色av一二三区在线观看| 久久综合给合久久狠狠97色| 他的舌头弄得我爽水好多| 无码视频在线观看一区二区| 免费的AV网站在线观看国产精品| 久久国产电影| 久久久久99精品三人片毛片| wwwav乱在线观看| 无码av少妇一区二区三区| 无码播放在线| 久久国产一区二区三区| 亚洲视频免费青| 四虎国产精品永久在线网址| 精品99日产一卡2卡三卡4| 免费视频好湿好紧好大好爽| 亚洲国产精品日本无码网站| 日夜啪啪一区二区三区| 四川少妇搡BB| 欧美制服丝袜人妻另类| 久久av无码中文字幕天堂男人| 91欧美亚洲国产五月天| 久久久久久久久性潮| 北条麻妃无码AV筱田优| 91人妻视频在线| 午夜影视无码| 伊人久久大香线蕉av一区二区|