重捕获 – 由谷歌与新加坡国立大学联手开发的视频处理新技术

ReCapture指的是什么

ReCapture是一项由谷歌和新加坡国立大学共同开发的创新性视频处理技术，能够根据用户提供的单一视角视频生成具有不同相机路径的新视图。该技术利用多视角扩散模型或是基于深度信息的点云渲染来创建带有新相机移动路线的初始噪点视频，并通过掩码微调方法优化这些原始视频，使其转换为清晰且时间连贯的角度重构版本，同时保持原视频中的场景动态，并从全新的视觉角度展现同样的情景。ReCapture还具备合理推测并展示出原始视角下不可见场景区域的能力。

ReCapture的核心特性

• 创建独特视点的影片基于用户上传的原始视频素材，创建拥有独特摄像机运动路径的新影片，并能够多视角呈现相同的画面内容。
• 维持原有的活动情景在创建具有新颖视角的视频时，确保原始视频里的全部动态场景得以保存。
• 如同电影拍摄般的摄像机动态效果采用类似电影拍摄手法的相机动作，包括放大、移动和平移等技巧，以提升视频的画面表现力。
• 情境填充通过合理的想象力来补充和完善源视频中缺失的部分，以提升视频内容的整体连贯性和完整性。
• 提升视频的清晰度与效果利用掩码视频精细调整技术，把含有干扰的参考视频转变为清晰且时间同步的高质影片。

ReCapture的核心技术机制

• 创建锚点视频由于提供的原文为空，没有具体内容可以进行伪原创改写。如果您有特定的文本需要帮助，请提供相关内容。
  • 三维空间中的距离估算及点云图形显示通过采用每帧的深度信息估算技术，把视频中的每一幅图像转化为一系列三维点云，并依据用户的摄像头移动需求来创建不同的视觉角度，最后对这些三维点云计算结果进行图形处理，以此产生全新的视频画面。
  • 多个视角的扩展模型当处理更为复杂的摄像机路径时（例如沿场景内某个位置做圆周运动），采用多视角扩展技术来创建不同角度下的视频画面。
• 对带遮罩的视频进行精细调整由于提供的内容为空，没有具体的信息可以进行伪原创改写。如果您有特定的文本或段落需要处理，请提供详细信息，我将会根据您的要求来进行相应的改编和创作。
  • 时刻微调（低秩适配）对掩码锚定视频实施时间LoRA的微调以捕捉场景中的运动变化，重点在于识别和学习视频中具有重要性的像素段落，同时忽视那些不确定的区域。
  • 宇宙LoRA对源视频中的增强帧应用空间LoRA进行精细调整，以匹配场景视觉效果，保证新增像素能够自然融入原始画面中。
• 强大的视频模型前提条件利用视频模型的强大预设信息，在遮盖的部分自动填入恰当的内容，大幅增强视频的时间连贯性，并去除基础视频里的震动现象。

ReCapture的工程链接

• 官方网站https://github.com/generative-video-camera-controls
• 关于arXiv的技术文章在学术论文数据库中可以找到编号为2411.05003的文件，访问链接 https://arxiv.org/pdf/2411.05003 即可查看。

ReCapture的使用情境

• 影片与视像创作电影创作者对已经录制的视频进行再剪辑与微调，通过变换镜头视角及动态设置来营造新颖的画面感受或是优化画面布局。
• 影片剪辑与后制处理：在处理视频时，编辑人员会调整和优化画面效果，比如通过变换摄像机角度来强调影片里的重点部分或者移除干扰性的背景。
• 虚拟实境（VR）与扩增实境（AR）在运用VR与AR技术时，创建更为身临其境且交互性强的视频素材，并支持用户多角度审视情境。
• 新闻与纪实片媒体工作者与纪录片创作者通过多视角再现事件过程，丰富了新闻叙述或历史回顾的内容层次与广度。
• 现场转播体育竞赛体育赛事的现场转播通过多样的视觉角度，使观众能够以不同摄像机的位置感受比赛氛围，从而提升观看的乐趣和沉浸感。