阿里开放的DreaMoving——一种利用扩散模型创造人类视频的技术框架

DreaMoving指的是什么

DreaMoving是由阿里巴巴集团的研究团队开发的一款利用扩散模型的人类视频创造平台。借助于其内置的视频调控网络及内容导向工具，DreaMoving可以实现对人物行为与外貌的高度精准操控，使用户能够依据简单的文本说明或图像提示生成定制化的视频片段。此框架致力于产出高品质且个性鲜明的人类视频，尤其擅长根据指定的人物身份和动作序列制作该人物移动或舞蹈的视频场景。

进入DreaMoving的官方网站入口

• 该项目的官方网站地址为：https://dreamoving.github.io/dreamoving/
• 在arXiv平台上发布的一篇学术文章中：https://arxiv.org/abs/2312.05107
• 查看该项目的GitHub链接如下：https://github.com/dreamoving/dreamoving-project
• ModelScope魔搭平台：https://www.modelscope.cn/studios/vigen/video_creation/overview
• 演示链接：https://huggingface.co/spaces/jiayong/Dreamoving

DreaMoving的特点功能

• 根据需求制作的专属视频内容DreaMoving可根据用户指定的角色形象及动作流程，创作出符合要求的动作或舞蹈视频片段，有效响应个性化的视频生产需求。
• 良好的可控制性借助于视频操控网络（Video ControlNet），DreaMoving能够精细调整视频内人物的行为细节，保证所创建的视频具备极高的时间连贯性和动作真实感。
• 维持身份借助内容导航工具（Content Navigator），该系统能维持视频内个体的独特属性，比如脸部特征和服饰风格，以保证最终合成的影片与指定的人物形象精准匹配。
• 多种多样的输入方法用户能够利用文字说明、图片示意或者两者相结合的方法来引导视频内容的创建，这种方式为创意制作带来了很大的灵活性。
• 简单易用且兼容性好DreaMoving以其简约的设计和用户友好的操作而著称，能够兼容各种风格的扩散模型，从而创造出丰富多彩的视频效果。

DreaMoving的系统构架

DreaMoving的结构基于Stable Diffusion模型构建，主要包括三大关键模块，各司其职并协同工作以达成优质人类视频制作的目标。

1. 降噪U型网络结构作为DreaMoving的核心网络架构，该系统承担着生成视频的任务。通过采用迭代式的去噪技术，去噪U-Net能够逐步从杂乱的噪声中重构出清晰的视频帧画面。在每一个U-Net模块之后添加了运动块（Motion Block），以提升视频内容的时间连贯性和动作的真实感。
2. 视频调控网络（Video RegulationNet）此网络专注于管理视频内角色的动作调控。作为可插入组件，它与用于降噪的U-Net技术相集成，并通过对姿态或深度数据系列的操作实现对动作的有效操控。借助Video ControlNet，生成的视频内容能够依据输入的引导序列展现精准无误的动作形态。
3. 内容导航器（Content Navigator）：目标指引工具旨在维持视频内个体的身份特性，包括面部样貌与服饰风格。该工具运用图像编码技术以精准把控人物外观，并融合文字指令来创造背景元素。通过交叉注意力机制，目标指引工具整合输入的文字说明和视觉属性，生成富含特定身份标志的视频片段。

这三者网络共同协作，让DreaMoving可以创建出兼具个性化身份特征及精准动作操控的优质人像视频。另外，其结构的设计旨在提升易用性和兼容性，并能与其他各种样式的扩散模型相结合，从而衍生出多种多样的视频生成效果。

DreaMoving的使用情境

• 影视创作于电影与电视节目创作领域内，DreaMoving能够助力构建精妙的动作片段，尤其是在要求演员展现精确演技或舞动身姿的情境下表现突出。此工具使创作小组能够在时间和资金约束中迅速产出高水准的视觉材料。
• 电子游戏制作通过运用DreaMoving，游戏设计师能够创建出高度真实的字符动态效果，从而赋予游戏玩家更为多样且贴近现实的感受。这一技术尤其对于提升角色扮演及动作类游戏中的代入感受有着至关重要的作用。
• 定制化视频制作创作人员能够利用DreaMoving来打造个性化的视频作品，比如社交平台中的舞蹈竞赛、角色扮演或是其他形式的创新短片。通过简便的文字和图片输入方式，用户可以迅速制作出展现自我风格的视频内容。
• 宣传与市场推广市场营销专员能够利用DreaMoving创建引人注目的广告影片，借助个性化的角色动态与环境设定捕捉潜在客户的注意力，从而增强宣传材料的扩散效率及品牌的市场辨识度。