9 月 19 日消息,阿里通義萬相全新動作生成模型 Wan2.2-Animate 今日正式開源。該模型支持驅動人物、動漫形象和動物照片,可應用于短視頻創作、舞蹈模板生成、動漫制作等領域。

Wan2.2-Animate 模型基于此前通義萬相開源的 Animate Anyone 模型全面升級,不僅在人物一致性、生成質量等指標上大幅提升,還同時支持動作模仿和角色扮演兩種模式:
角色模仿:輸入一張角色圖片和一段參考視頻,可將視頻角色的動作、表情遷移到圖片角色中,賦予圖片角色動態表現力;
角色扮演:同時還可在保留原始視頻的動作、表情及環境的基礎上,將視頻中的角色替換為圖片中的角色。


此次,通義萬相團隊構建了一個涵蓋說話、面部表情和身體動作的大規模人物視頻數據集,并基于通義萬相圖生視頻模型進行后訓練。
Wan2.2-Animate 將角色信息、環境信息和動作等,規范到一種統一的表示格式,實現了單一模型同時兼容兩種推理模式;針對身體運動和臉部表情,分別使用骨骼信號和隱式特征,配合動作重定向模塊,實現動作和表情的精準復刻。在替換模式中,團隊還設計了一個獨立的光照融合 LoRA,用于保證完美的光照融合效果。
實測結果顯示,Wan2.2-Animate 在視頻生成質量、主體一致性和感知損失等關鍵指標上,超越了 StableAnimator、LivePortrait 等開源模型,是目前性能最強的動作生成模型,在人類主觀評測中,Wan2.2-Animate 甚至超越了以 Runway Act-two 代表的閉源模型。




即日起,用戶可在 Github、HuggingFace 和魔搭社區下載模型和代碼,也可以在阿里云百煉平臺調用 API,或通義萬相官網直接體驗。附開源地址如下:
https://github.com/Wan-Video/Wan2.2
https://modelscope.cn/models/Wan-AI/Wan2.2-Animate-14B
https://huggingface.co/Wan-AI/Wan2.2-Animate-14B
本文鏈接:http://www.yifxia.cn/showinfo-45-27925-0.html上傳一張圖、主演任何視頻,“性能最強動作生成模型”阿里通義萬相 Wan2.2-Animate 開源
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com