视频炼金术士——AI驱动的视频创造工具，拥有广泛的多对象个性化定制功能

Video Alchemist指的是什么

Snap公司等开发的新型视频生成工具名为Video Alchemist，它拥有处理多对象及高度个性化的功能，并且能够依据文本描述和参考图片来创造视频内容，在测试阶段无需额外调优。该模型采用Diffusion Transformer架构，借助双层交叉注意力机制将图像特征与详细的文字说明融合到视频制作流程中。此外，Video Alchemist设计了一套自动化数据生成管道并采用了多种增强技术以强化对对象身份的识别，并防止出现简单的“复制粘贴”效果。为了评价其效能，研究团队还构建了名为MSRVTT-Personalization的新标准来测试模型的个性化视频生成能力。

Video Alchemist的核心特性

• 定制化视频创作拥有内嵌的多样化主题与开放式定制化特性，能够同步实现前景区域与背景环境的个性创作，并且在应用过程中无需额外调优。
• 根据文本指令与参照图片实现有条件的内容创作通过提供一段文字描述及一系列参照图片以具体化描述中提到的物体或场景，Video Alchemist能够依据这些文字信息与视觉参考资料创造出相匹配的视频内容。
• 扩散Transformer组件的应用该架构采用了新设计的扩散转换器组件，并利用附加的跨注意力层级来整合每一幅具有特定主题文字说明的引导图片，从而达成在多个对象条件下内容创作的目标，确保了文本解释与视觉表达之间的紧密关联。

Video Alchemist的核心技术机制

• 多个参与者组成的开放且个性化的聚合体Video Alchemist 拥有内建的多种主题与开放式定制化功能，能够同步实现前景区块及后景环境的独特创造，并且在测试阶段无需做额外调整。它适用于处理各种创新的主题和场景设定，对于新的主体或背景无需单独调优。
• 扩散变压器组件Video Alchemist 利用新开发的Diffusion Transformer组件搭建而成，该组件借助附加的交叉注意力机制来整合每一个条件参照影像与相关的对象级别文字说明。其实施多对象条件生成的具体方式如下：
  • 输入解析：提供一段文字描述及一系列参照图片后，该系统会先对这些信息进行编码处理。
  • 双通道交叉关注模块：利用两个相互作用的关注机制，把参照图片的信息与对象级别的文字描述结合起来，贯穿于视频创作流程中，确保最终产出的视频既忠实呈现主题特征又能保持场景的真实感。
  • 在主体现象整合方面：通过实施这种级别的集成方案，把各个对象的文字叙述和它们的视觉表达形式紧密相连，以保证所创建视频内容中的对象既精确又统一。
• 自动化数据生成流程及图片优化技术为了应对获取匹配的参考图像与视频数据集难度大的问题，Video Alchemist开发了一套全新的自动化数据生成流程，并采用了多种图像增强方法来强化模型识别主体特征的能力，防止出现简单的“复制粘贴”效果。
  • 图像采集与增强：从若干连续画面提取目标影像，并实施数据增强技术。
  • 影像优化：运用各类数据增广方法，包括但不限于旋转、比例调节及色彩校正等方式，来提升模型的普遍适应性，并降低过度拟合的风险。
• 个人化MSRVTT评估标准为评价Video Alchemist的表现，采用了新推出的视频个性化标准MSRVTT-Personalization。该标准能够精确测量主题的真实感，并且适用于各种个性化的应用场景，涵盖根据脸部剪裁、单一或多主体自由选择及前景元素与背景结合的不同设置条件。

项目的链接为Video Alchemist

• 官方网站项目页面访问此链接以查看开放集视频个性化研究项目：https://snap-research.github.io/open-set-video-personalization/
• 关于技术的arXiv学术文章这篇论文可以在网址 https://arxiv.org/pdf/2501.06187 上找到。

Video Alchemist的使用情境

• 短片制作个体创作者能够把他们的想象力和奇妙构思变成视频形式，并创作出别具一格的短片上传到社交媒体上，以此来表达自己的独特风格。
• 动漫创作利用Video Alchemist工具，创作者能够轻松创建动画人物与场景，并迅速完成动画影片的制作，整个过程不需要依赖复杂的专业动画软件或具备高超的技术能力。
• 过去发生的重大事情老师能够制作关于历史事件的视频，这有助于学生们更深刻地掌握历史背景及其发展过程。
• 戏剧情节设置制作人与导演能够创建剧本场景的初始视频片段，用以促进团队间的交流，并向潜在投资者呈现项目的构思。
• 人物行为能够创建角色的行为与面部表情，助力演员及导演更准确地把握人物表现的需求。