中科大开发的AI人像视频编辑软件 – PortraitGen

PortraitGen指的是什么

由中国科学技术大学的研究团队开发的PortraitGen是一款先进的AI人像视频处理软件。该工具运用了3D高斯溅射技术及神经网络驱动的纹理生成机制，能够将2D的人像视频转变为4D高斯场模型，从而实现细致入微且时间连续性的高质量三维编辑效果。支持多种模式下的内容创作与修改，如依据文本或图片进行操作以及重新设定光源条件等，使用户可以便捷高效地对人物的风格、服装甚至光照情况进行个性化调整。借助面部特征分析和表情匹配算法，PortraitGen保证了生成图像的高度自然性和与原始视频帧之间的一致性表现。

ProfileCreator的核心特性

• 多元模式人物图像处理该工具提供了基于文本与图片的两种编辑方式。使用者能够通过录入文字说明来设定角色的行为、面部表情及背景变动，同时也可以利用样本图片来进行样式变换或是体验虚拟换装等功能。
• 光线调控（Re-lighting）运用IC-Light技术，根据文字说明灵活调节视频内的光线效果，确保光线能够与场景完美结合。
• 面部识别调整利用脸部识别调整组件，在进行视频剪辑时能够维护个体的脸部构造及独特属性，并提升表情与脸部动态的真实感和谐统一性。
• 样式变换及在线试衣体验该服务提供风格变换与虚拟着装功能，允许用户依据参照图片进行全面的样式转移（例如变为动漫风），或是给视频人物配上虚构衣物等物件。
• 多个摄像头与复合场景管理能够应对多视角视频的处理，并确保整体的一致性与角色统一。利用高斯纹理方法可以完成各种复杂的视觉效果渲染工作，例如乐高主题或是像素艺术风的影片制作。
• 高效创建及流畅的高帧频展示能够迅速完成剪辑工作，并在生成视频过程中提供最高达100帧每秒（FPS）的渲染效率，非常适合高效的视频创作环境。

PortraitGen的核心技术机制

• 三维高斯喷射(3DGS)利用三维高斯模型描绘场景，并借助三维协方差矩阵来确定各个高斯分布的位置、朝向与尺度，同时设定其透明度和色彩特征，从而达成动态三维环境的创建。
• 神经系统中的高斯纹理模型维持一个3D高斯分布在SMPL-X模型的UV空间内，并依据由输入视频追踪到的基础网格变化来调整该高斯分布。接着利用UV映射与二维神经网络渲染技术，把特征图像转变为RGB颜色输出。
• 脸部识别调整组件针对头面部实施双重修饰，以强化脸部轮廓的立体感并优化整体编辑效果。
• 相似度指引的表述把渲染图与原始输入图转换至EMOCA的隐含表情空间中，并通过损失函数来保障二者表情的一致性。
• 多种媒体形式的编辑方法通过运用大型二维生成模型的技术，达到由文字引导的编辑、基于图片引导的修改以及光线重设的目的。

PortraitGen项目的网址

• 官方网站项目https://github.com/ustc3dv/PortraitGen
• Git存储库：在GitHub上可以找到由USTC3DV维护的PortraitGen代码库，网址为 https://github.com/USTC3DV/PortraitGen-code
• 关于arXiv的技术文章这篇论文可以在以下链接中找到：https://arxiv.org/pdf/2409.13591，该文档包含了详细的研究内容和分析。

PortraitGen的使用情境

• 影片与视听节目创作于电影、剧集及短片创作时，设计并调整人物形象，执行特殊效果化妆或是呈现风格迥异的场景变化。
• 创意艺术作品创作者们运用PortraitGen工具生成富有独特风格的人物画像艺术品，例如把人物图像转变为像素风或是仿油画效果。
• 市场营销与推广在广告领域里，依据品牌特性和商品特色，个性化调整人物形象以捕捉潜在客户的眼球。
• 服装产业时尚设计师与零售商家利用虚拟试穿的技术，在数字化的场景中呈现衣物及配件，从而为客户带来创新的购物感受。
• 社交平台与短片视频创作者与影响力人士利用 PortraitGen 对个人肖像视频进行编辑，增添创意元素，以增强内容的吸引程度及用户参与度。
• 制作电子游戏在游戏中设计人物时，迅速创建或调整角色外观能增强游戏的个性与多样性。