上海 AI Lab 联合高校推出 RelightVid 视频重照明模型

RelightVid是什么

RelightVid是由上海 AI 实验室、复旦大学、上海交通大学、浙江大学、斯坦福大学以及香港中文大学联合推出的一款创新视频重照明工具。该技术基于时序一致性扩散模型，能够根据文本提示、背景视频或HDR环境贴图对输入视频进行精细且一致的场景编辑。RelightVid支持两种重照明模式：全场景重照明和前景保留重照明，为视频编辑提供了更大的创作自由度。

该技术的核心在于其独特的增强数据生成管道，通过结合真实视频和3D渲染数据，构建高质量的视频重照明数据对。RelightVid在预训练图像重照明扩散框架（IC-Light）的基础上，引入了可训练的时序层来优化视频重照明效果，尤其在保持时序一致性和光照细节方面表现优异。

RelightVid的主要功能

• 文本条件重照明：支持基于用户提供的文本描述（如“阳光透过树叶，形成斑驳光影”或“柔和的晨光，金色时刻”）对视频进行智能化的重照明。
• 背景视频条件重照明：利用背景视频中的光照信息动态调整前景物体的光照效果，确保前后景光照一致。
• HDR环境贴图条件重照明：通过HDR环境贴图实现精确的光照控制，达到专业级的重照明质量。
• 全场景重照明：对视频中的前景和背景进行全面的光照调整，使整个场景与目标光照条件高度匹配。
• 前景保留重照明：仅对前景对象进行光照调整，同时完整保留背景内容，适合需要突出显示前景主体的应用场景。

RelightVid的技术原理

• 扩散模型扩展：RelightVid基于预训练的图像重照明扩散模型（如IC-Light），通过扩展时序一致性机制，使模型能够处理连续视频帧。
• 多模态条件联合训练：结合文本、背景视频和HDR环境贴图等多种输入模式，提升模型在不同光照场景下的适应能力。
• 智能时序优化：通过引入可训练的时序层，确保视频帧之间的光照变化平滑且连贯，避免突兀的效果。
• 高效渲染技术：采用先进的渲染算法，在保持高画质的同时实现快速处理，满足实时应用需求。

项目地址

如需了解更多关于RelightVid的信息或进行使用，请访问以下链接：

• 官方网站
• GitHub仓库

应用场景

• 影视后期制作：用于电影、电视剧等视频内容的光照调整和场景优化。
• 广告制作：快速实现不同光照条件下的广告素材制作，节省拍摄成本。
• 虚拟现实与增强现实：在AR/VR应用中提供更真实的光照效果，提升沉浸式体验。
• 视频编辑与特效：为专业视频编辑软件提供强大的重照明功能支持。
• 教育与培训：用于影视制作课程教学或虚拟场景演示。

总结

RelightVid凭借其先进的技术架构和灵活的功能组合，正在为视频编辑、影视制作、广告创意等领域带来革命性的改变。无论是专业人士还是业余爱好者，都能通过这一工具轻松实现高质量的视频重照明效果，解锁更多创作可能。