快手在視頻上的布局越來越全面了啊，這幾天開源了 Kwai Keye-VL-1.5-8B 模型。

除了支持圖像識(shí)別以外，視頻理解能力也很強(qiáng)，加上 8B 的大小非常適合本地部署用來做視頻標(biāo)注和內(nèi)容識(shí)別。

我試了一下，給了一個(gè)是描述視頻畫面內(nèi)容以及查找分鏡時(shí)間和每個(gè)分鏡的內(nèi)容描述都做的不錯(cuò)。

模型主要優(yōu)勢(shì)有：

短視頻理解：在Video-MME的短視頻子集測(cè)試中，Keye-VL-1.5-8B獲得81.2的高分，超過了GPT-4o及同類模型。

視頻定位能力：能夠在一個(gè)26秒的短視頻中，將目標(biāo)物（如包）出現(xiàn)的時(shí)間段精確定位到0.1秒級(jí)別

視覺推理能力：能夠理解視頻中相對(duì)復(fù)雜的行為動(dòng)機(jī)比如論文案例里面可以從兩只狗的行為推測(cè)動(dòng)機(jī)。

模型核心創(chuàng)新主要有下面幾個(gè)方面：

針對(duì)視頻內(nèi)容動(dòng)態(tài)且信息密集的特點(diǎn)，Keye-VL-1.5 提出了一種新穎的“Slow-Fast”視頻編碼策略，以有效平衡空間分辨率和時(shí)間覆蓋率。

慢速通路以高分辨率處理視覺變化顯著的關(guān)鍵幀，而快速通路則以較低分辨率但更高的時(shí)間覆蓋率處理相對(duì)靜態(tài)的幀。

另外模型采用了精心設(shè)計(jì)的四階段漸進(jìn)式預(yù)訓(xùn)練流程，系統(tǒng)性地將模型的上下文長(zhǎng)度從8K擴(kuò)展到128K，可以理解更加復(fù)雜的視覺信息。

在后訓(xùn)練階段為解決冷啟動(dòng)問題，模型設(shè)計(jì)了一個(gè)五步自動(dòng)化流水線來生成高質(zhì)量的長(zhǎng)鏈思考數(shù)據(jù)，包括數(shù)據(jù)收集、問題重寫、多路徑推理生成、雙層質(zhì)量評(píng)估和人工指導(dǎo)改進(jìn)。

引入了“漸進(jìn)式提示采樣”機(jī)制來處理困難樣本，即當(dāng)模型多次回答錯(cuò)誤時(shí)，在提示中給予不同層級(jí)的提示，以提高訓(xùn)練效率和模型推理能力

項(xiàng)目地址：github.com/Kwai-Keye/Keye
這里嘗試：huggingface.co/spaces/Kwai-Keye/Keye-VL-1_5-8B
論文：arxiv.org/pdf/2509.01563