北大携手鹏城实验室等机构发布的文本转视频AI模型——ConsisID

ConsisID代表的是什么？

ConsisID是由北京大学及鹏城实验室等机构开发的一种文本到视频（Text-to-Video, IPT2V）合成模型，它利用频率分解方法确保视频中的人物身份统一。该模型采用了无需调优的Diffusion Transformer（DiT）架构，并通过整合低频全局特征与高频局部特性，采用分层训练策略来生成高质量、可编辑且人物身份一致的视频内容。在多个评估指标上，ConsisID的表现优于现有的技术水平，从而促进了具有身份一致性视频生成技术的进步。

ConsisID的核心作用

• 维持身份在制作视频时，需维持人物身份的统一，并保证片中角色的特点与给出的参照图片一致。
• 制作高清晰度的视频内容创造外观高度真实且细节精致的视频材料。
• 不需要进行细微调整作为一种无需调优的模型，在面对新的情况时不必进行额外调整，从而大大简化了使用的难度。
• 可修改性允许用户通过文字指令来调控视频的各个元素，涵盖人物的动作、面部表情以及场景背景等方面。
• 广泛适用性能够应对超出训练数据范围的新人物，增强模型的应用广泛性。

ConsisID的核心技术机制

• 频谱解析由于提供的内容为空，没有具体的信息或文本可供改写。如果有具体的段落或者句子需要帮助，请提供详细信息。我会根据您给出的内容来进行相应的伪原创改写工作。
  • 频率较低的操控采用全面的人脸特性抽取技术，把参照图片与面部标志点转化为低频率特征，并将其整合进神经网络的初期层级中，以减轻训练过程中的复杂性。
  • 高频率调控开发用于捕捉面部细微特点的局部特征抽取组件，并将其与Transformer单元融合，以提升系统在保持精细特性方面的效能。
• 分层式培训方案由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您有特定的文本需要修改，请提供相关内容。我会根据您给出的文字，在保留原意的基础上重新表述。
  • 从粗糙到精细的培训首先使模型掌握整体信息，然后聚焦于细节部分，确保视频在时空上的连贯性。
  • 动态遮罩损耗(Dynamic Masking Loss)通过应用人脸识别遮罩来限定损失函数的计算范围，使模型能够集中处理面部区域的信息。
  • 动态交互面部损耗(Dynamic Interaction Face Loss)通过融入跨越不同人脸的参照图片，增强了模型在未曾遇见的身份上的适应性能。
• 特性整合采用人脸识别主干网络与CLIP视觉编码器来抽取特性，并利用Q-Former整合这些特性，以创造出富含高频率语义细节的内部身份标志。
• 互交注意机制通过采用交叉注意力机制，该模型能够与预先训练好的模型所生成的视觉元素进行互动，从而显著提升DiT中高频率细节的表现力。

ConsisID项目的仓库位置

• 官方网站ของโครงการhttps://github.com/pku-yuangroup/ConsisID
• Git存储库：访问该项目的地址为 https://github.com/PKU-YuanGroup/ConsisID
• HuggingFace的模型集合访问此链接以查看特定的数据集：https://huggingface.co/datasets/BestWishYsh/ConsisID
• arXiv科技文章这篇论文可以在网址 https://arxiv.org/pdf/2411.17440 上找到。
• 线上试用演示版：访问此链接以查看最佳祝福空间中的ConsisID项目 – https://huggingface.co/spaces/BestWishYsh/ConsisID

ConsisID的使用情境

• 定制化休闲活动用户能够构建一个类似于他们自己或是某个特定人物的虚拟角色，用于社交媒体展示或者个人趣味活动。
• 数字主持人在网络直播和新闻报道里，由ConsisID创建的虚拟主持人能够实现全天候无间断服务。
• 影视作品的创作与制作在影片的后制阶段，用于创造特效画面中的角色或是构建完全虚构的数字人物。
• 电子游戏领域为游戏中的角色创作基础模型，或者在游戏里创建外观接近玩家的非玩家控制角色（NPC）。
• 教学与仿真练习构建历史人物形象或设计特定情境用于教学目标和职业训练中，例如医学仿真、驾车练习等。