上海AI实验室携手交通大学等机构发布视频再光照技术——Light-A-Video

AI工具4周前发布 ainav
49 0

Light-A-Video是指什么

由上海交通大学、中国科学技术大学、香港中文大学、香港科技大学、斯坦福大学及上海AI实验室联合研发的Light-A-Video是一项创新技术,它无需训练即可实现高质量且时间一致性的视频光照调整。这项技术依赖于渐进式光照融合方法来完成这一目标,并包含两个核心组件:一致光线注意(Consistent Light Attention, CLA)和渐进式光合(Progressive Light Fusion, PLF)。CLA通过增强帧间的交互,确保背景光源生成的稳定性;而PLF则利用视频扩散模型中的运动先验知识,逐步融合重光照效果到视频中,以保证光照过渡流畅自然。Light-A-Video不仅能够对整个视频实施重新照明处理,还能专门针对前景序列进行操作来产生新的背景光线环境。

Light-A-Video

Light-A-Video的核心特性

  • 时间的一致性 유지通过提升帧与帧之间光线的一致性,解决视频中的闪烁及光线突然变化问题。
  • 高品质再照明运用预先训练好的图像再照明算法,对视频内各帧的画面光线进行调节,并确保图片品质不受影响。
  • 前景和背景的分割处理提供视频前景的重新照明功能,并自动创建与光线环境相匹配的背景。
  • 零示例(Zero-shot)创造不需要任何附加的培训或调整,即可依据文字指示创建出满足特定光线要求的视频。
  • 具备强大的兼容性支持包括AnimateDiff和CogVideoX在内的多种流行视频生成模型,展现出极高的通用性。

Light-A-Video的工作机制

  • 持续光照关注(CLA)由于提供的内容仅有冒号,并没有实际的文字信息供我参考和改写,请提供具体的内容以便我能更好地帮助您完成任务。
    • 为了稳固光源产生的效果,CLA模块采用了强化帧间互动的方法。通过在图片重新布光模型中的自我关注层级加入跨越不同帧的信息,并利用时间上的平均特性来减少光线高频率的不稳定波动,从而创造出一个稳定的基础照明环境。
    • CLA 利用了双重路径的注意力整合方法:一个路径专注于解析原生帧数据以维持精细特征;另一个路径则通过对时间维度的数据进行平滑处理来减少震动影响。随后,这两种路径的结果将按照特定权重合并在一起。
  • Progressive Light Integration (PLI)由于提供的原文为空,没有具体内容可以进行伪原创改写。如果您有特定的文本需要处理,请提供相关内容。
    • PLF 组件采用视频扩散模型(VDM)中的运动预设知识,渐进地在视频里添加重新打光的效果。通过使用线性混合方法,它能够把调整后的光线图像特征和原初视频的画面特性相融合,保证光照变化过程的流畅自然。
    • 在处理视频扩散模型的去噪问题时,PLF 通过渐进式地修改光照设定,并利用变化中的融合权重来指导去噪进程的方向,从而确保了整个过程中重照明的一致性与连贯性。
  • 整个过程初始的视频数据会被转换成潜在空间里的噪音形式,在VDM的净化流程里逐渐被修正回来。在整个过程中,每个净化阶段都依靠CLA和PLF模块的合作,有序地把再照明的信息添加进视频内容之中。

Light-A-Video的项目位置

  • 官方网站建设项目访问此链接以查看经过改编的视频照明指南:https://bujiazi.github.io/light-a-video.github.io/
  • Git代码库:可在GitHub上找到名为”Light-A-Video”的项目页面,其地址是https://github.com/bcmi/Light-A-Video。
  • arXiv科技文章在学术论文数据库中可以找到标识为2502.08590的文档,具体链接如下所示:https://arxiv.org/pdf/2502.08590。

Light-A-Video的使用情境

  • 电影与电视制作的后阶段处理迅速变换光线环境,比如从日间切换到夜间模式,能够有效节约开支与时间。
  • 电子游戏创作通过调整场景中的光线效果,提升用户的沉浸体验。
  • 制作影片迅速转换视频样式,以适应创作要求。
  • 虚拟现实与增强现实技术动态调节光线,增强虚拟与真实世界的结合度。
  • 在线会议提升视频照明效果,增强远程合作的用户体验。
© 版权声明

相关文章