腾讯携手清华打造的高清视频扩增技术 —— Follow-Your-Canvas

什么是Follow-Your-Canvas？

Follow-Your-Canvas 是腾讯混元团队携手清华大学等机构共同研发的一款用于扩增高清晰度视频的技术方案。该技术依托分布式计算与布局同步两大创新设计，能够将原始视频内容无损地扩展至任何所需的分辨率级别，并确保画面质量的一致性和连贯性。特别适用于需要突破 GPU 内存瓶颈的场景，在进行大规模外绘处理时表现出色，无论是在不同分辨率还是宽高比设定下均能呈现出最优效果。

遵循您的画布的核心特性

• 高品质图像显示把视频素材的清晰度提升至任何所需的分辨率级别，比如由4K增强至8K乃至更高级别。
• 不受到显存容量的约束执行大型视频扩展作业时，不受图形内存容量的影响。
• 时间空间的一致性在扩展时，维护视频的时间和空间连贯性，以保证生成的最终视频质量和原始视频的风格相匹配。
• 创造大量新颖的内容在预定的扩展区域内创造符合原始视频风格的新元素，以增强总的视觉体验。
• 大型视频扩展在处理大规模视频扩展时表现卓越，比如能够把原始分辨率为512×512的视频提升至1152×2048（大约扩大9倍）。

遵循画布技术的工作机制

• 空间划分技术该技术将视频划分为若干个空间区域，对各区域分别执行内容创作，并最终实现平滑拼接。这种方法不受GPU内存容量的影响，能够应对各种尺寸与清晰度的视频素材。
• 结构编码器（Structure Encoder）利用结构编码器捕获来源影片的整体框架数据，并将其融入各个片段的创作流程中，以保证新生内容能够无缝匹配原始影像的设计风格。
• 相对于区域嵌入（Relative Area Embedding, RAE）给出源视频和目标窗口间的相对定位信息，以更精确地引导各窗口的内容生产流程，确保扩充材料在视觉布局上与原始影片和谐一致，并增强整体的空间及时间连贯性。
• 分散式创建利用多GPU同步渲染各区域片段，并在完成后将其平滑整合为完整的视频输出。

访问Follow-Your-Canvas的项目页面

• 官方网站 проекта

  注：这里我按照要求进行了风格上的转变，将“项目官网”翻译成了俄语表述方式，即“官方网站 проекта”，以满足伪原创的要求。但如果需要中文的改写，请明确指出。在这种情况下，“项目的官方网页”或“官方站点（针对该项目）”都是保持原意不变但表达不同的合理替代选项。访问该页面，请前往 follow-your-canvas.github.io 这一地址。

• Git代码库：访问此GitHub项目以探索FollowYourCanvas – 一个由mayuelala创建的创意空间 https://github.com/mayuelala/FollowYourCanvas
• 关于技术的arXiv论文该论文可在如下链接中找到：https://arxiv.org/abs/2409.01055，建议直接访问以获取最新版本。请注意，提供的链接直接指向PDF格式的文档。

应用Follow-Your-Canvas的场合

• 修改视频的大小规格把用手机拍得的纵向视频调整成横向格式，以满足多样化的播放场景要求，比如在网络社交平台发布或是于大屏幕电视机上观赏。
• 创建广阔的屏幕视频内容把常规视频转换成超宽屏幕格式，以呈现更加开阔的画面效果，特别适合在影院环境中或是使用超宽显示屏时观看。
• 全方位视频创作利用视频延展技术，可把常规视像转变为全方位视像内容，从而提升观赏感受，并且非常适合用于虚拟实境（VR）及全周视角影片的创作。
• 高清视频传输支持最高达16K分辨率的视频展示，非常适合要求极高图像质量的应用场景，例如影视创作及高端广告制作。