9月19日，通義萬相推出Wan2.2-Animate模型，核心能力為“上傳一張人物圖片+一段視頻”，即可實現(xiàn)動作復刻與角色替換。

無論是讓靜態(tài)角色“復刻舞蹈”，還是在影視后期中“替換主演”，均能生成電影級動態(tài)效果，適用于魔改劇情（角色劇情混搭穿越）、影視后期處理換人等創(chuàng)意場景。

該模型依托四大核心技術(shù)實現(xiàn)突破：

其一，采用統(tǒng)一模型架構(gòu)，通過優(yōu)化輸入范式，將“圖生動作”（Move模式）與“視頻換人”（Mix模式）統(tǒng)一為共同符號表示，模型可根據(jù)輸入自動切換生成模式，無需訓練兩個獨立模型，大幅提升開發(fā)效率與資源利用率；

其二，精準控制表情與肢體，將控制信號拆分為兩部分 —— 身體運動借助 VitPose 提取的 2D 骨骼信號注入初始噪聲潛在向量，確保動作遷移準確；面部表情則直接編碼參考視頻的原始人臉圖像為幀級隱式潛在特征，通過時序?qū)R交叉注意力機制注入，避免手動關(guān)鍵點丟失細節(jié)，完美復刻微妙表情變化；

其三，實現(xiàn)角色替換后的真實光影重塑，Mix模式下引入Relighting LoRA 模塊，依托IC-Light合成數(shù)據(jù)訓練，能在保持角色外觀一致的同時，學習目標視頻的環(huán)境光照與色彩色調(diào)，讓新角色“融入”而非“貼上”原視頻，且原生支持帶運鏡、鏡頭抖動的復雜視頻；

其四，開源完整工作流，涵蓋模板視頻處理代碼（輸入驅(qū)動視頻輸出模板文件）與模型推理代碼（輸入模板文件、角色圖片輸出視頻），助力提升各類姿態(tài)驅(qū)動模型效果。

目前，用戶可通過通義萬相官網(wǎng)，國內(nèi)站與國際站https://wanxiang.aliyun.com在線體驗，上傳人物圖片與視頻即可生成效果。

開發(fā)者可通過阿里云百煉接入API，模型開源地址則覆蓋ModelScope、Hugging Face與GitHub平臺，方便進一步開發(fā)與創(chuàng)意落地。（轉(zhuǎn)載自AI普瑞斯）