最强动作生成模型:阿里通义万相开源版

AI资讯2个月前发布 ainav
54 0

9月19日,阿里巴巴推出全新动作生成模型Wan2.2-Animate并正式开源。该模型支持人物、动漫形象及动物照片的动作驱动,适用于短视频制作、舞蹈模板生成和动漫创作等多个领域。

最强动作生成模型:阿里通义万相开源版

作为对先前开源的Animate Anyone模型的重大升级,Wan2.2-Animate在人物一致性、生成质量等关键指标上实现了显著提升,并新增了动作模仿和角色扮演两大核心功能:

  • 角色模仿:输入一张目标角色图片与一段参考视频,模型能够将视频中的角色动作和表情迁移至目标图片,赋予静态图像生动的动态表现力。

  • 角色扮演:在保留原始视频的动作、表情及环境信息的同时,用户可以将视频中的原有角色替换为目标图片中的角色形象。

最强动作生成模型:阿里通义万相开源版

最强动作生成模型:阿里通义万相开源版

为支持这些创新功能,通义万相团队构建了一个大规模的高质量视频数据集,涵盖丰富的说话、面部表情和身体动作,并基于通义万相图生视频模型进行了精细的后训练。

Wan2.2-Animate通过统一的角色信息、环境信息和动作表示格式,实现了单模型对两种推理模式的良好兼容。在技术实现上,骨骼信号用于处理身体运动,隐式特征负责面部表情捕捉,结合先进的动作重定向模块,确保了动作与表情的精确复刻。特别地,在角色替换场景中,团队创新性地引入了独立的光照融合LoRA技术,有效解决了光线不匹配问题。

实测数据表明,Wan2.2-Animate在视频生成质量、主体一致性和感知体验等方面均优于StableAnimator和LivePortrait等开源模型。更令人瞩目的是,在与商业级闭源产品Runway Act-two的对比中,该模型同样展现出了显著优势。

最强动作生成模型:阿里通义万相开源版

最强动作生成模型:阿里通义万相开源版

最强动作生成模型:阿里通义万相开源版

最强动作生成模型:阿里通义万相开源版

从即日起,开发者和用户可通过以下平台获取Wan2.2-Animate模型及相关资源:

  • https://github.com/Wan-Video/Wan2.2

  • https://modelscope.cn/models/Wan-AI/Wan2.2-Animate-14B

  • https://huggingface.co/Wan-AI/Wan2.2-Animate-14B

© 版权声明

相关文章