上海AI实验室携手交通大学等机构发布视频再光照技术——Light-A-Video

Light-A-Video是指什么

由上海交通大学、中国科学技术大学、香港中文大学、香港科技大学、斯坦福大学及上海AI实验室联合研发的Light-A-Video是一项创新技术，它无需训练即可实现高质量且时间一致性的视频光照调整。这项技术依赖于渐进式光照融合方法来完成这一目标，并包含两个核心组件：一致光线注意（Consistent Light Attention, CLA）和渐进式光合（Progressive Light Fusion, PLF）。CLA通过增强帧间的交互，确保背景光源生成的稳定性；而PLF则利用视频扩散模型中的运动先验知识，逐步融合重光照效果到视频中，以保证光照过渡流畅自然。Light-A-Video不仅能够对整个视频实施重新照明处理，还能专门针对前景序列进行操作来产生新的背景光线环境。

Light-A-Video的核心特性

• 时间的一致性 유지通过提升帧与帧之间光线的一致性，解决视频中的闪烁及光线突然变化问题。
• 高品质再照明运用预先训练好的图像再照明算法，对视频内各帧的画面光线进行调节，并确保图片品质不受影响。
• 前景和背景的分割处理提供视频前景的重新照明功能，并自动创建与光线环境相匹配的背景。
• 零示例（Zero-shot）创造不需要任何附加的培训或调整，即可依据文字指示创建出满足特定光线要求的视频。
• 具备强大的兼容性支持包括AnimateDiff和CogVideoX在内的多种流行视频生成模型，展现出极高的通用性。

Light-A-Video的工作机制

• 持续光照关注(CLA)由于提供的内容仅有冒号，并没有实际的文字信息供我参考和改写，请提供具体的内容以便我能更好地帮助您完成任务。
  • 为了稳固光源产生的效果，CLA模块采用了强化帧间互动的方法。通过在图片重新布光模型中的自我关注层级加入跨越不同帧的信息，并利用时间上的平均特性来减少光线高频率的不稳定波动，从而创造出一个稳定的基础照明环境。
  • CLA 利用了双重路径的注意力整合方法：一个路径专注于解析原生帧数据以维持精细特征；另一个路径则通过对时间维度的数据进行平滑处理来减少震动影响。随后，这两种路径的结果将按照特定权重合并在一起。
• Progressive Light Integration (PLI)由于提供的原文为空，没有具体内容可以进行伪原创改写。如果您有特定的文本需要处理，请提供相关内容。
  • PLF 组件采用视频扩散模型（VDM）中的运动预设知识，渐进地在视频里添加重新打光的效果。通过使用线性混合方法，它能够把调整后的光线图像特征和原初视频的画面特性相融合，保证光照变化过程的流畅自然。
  • 在处理视频扩散模型的去噪问题时，PLF 通过渐进式地修改光照设定，并利用变化中的融合权重来指导去噪进程的方向，从而确保了整个过程中重照明的一致性与连贯性。
• 整个过程初始的视频数据会被转换成潜在空间里的噪音形式，在VDM的净化流程里逐渐被修正回来。在整个过程中，每个净化阶段都依靠CLA和PLF模块的合作，有序地把再照明的信息添加进视频内容之中。

Light-A-Video的项目位置

• 官方网站建设项目访问此链接以查看经过改编的视频照明指南：https://bujiazi.github.io/light-a-video.github.io/
• Git代码库：可在GitHub上找到名为”Light-A-Video”的项目页面，其地址是https://github.com/bcmi/Light-A-Video。
• arXiv科技文章在学术论文数据库中可以找到标识为2502.08590的文档，具体链接如下所示：https://arxiv.org/pdf/2502.08590。

Light-A-Video的使用情境

• 电影与电视制作的后阶段处理迅速变换光线环境，比如从日间切换到夜间模式，能够有效节约开支与时间。
• 电子游戏创作通过调整场景中的光线效果，提升用户的沉浸体验。
• 制作影片迅速转换视频样式，以适应创作要求。
• 虚拟现实与增强现实技术动态调节光线，增强虚拟与真实世界的结合度。
• 在线会议提升视频照明效果，增强远程合作的用户体验。