星光计划 – 南京大学、字节跳动及西南大学共同开发并开放源代码的实景视频超级分辨率技术框架

STAR代表什么

由南京大学、字节跳动和西南大学共同研发的STAR是一种创新性的现实世界视频超分辨率框架，它能够将低分辨率视频转换为高分辨率视频，并保持细节清晰及时间一致性。该系统采用了先进的文本到视频扩散模型来增强空间细节与时间建模能力。为了进一步改善局部图像质量并减少复杂退化导致的伪影问题，STAR还设计了一个名为LIEM（局部信息增强模块）的部分，在全局注意力块前丰富局部特征。此外，通过引入动态频率损失函数，STAR能够引导其在不同的扩散步骤中聚焦于不同频段的信息，从而提升视频恢复的真实感和质量。

STAR的核心作用

• 真实环境中的视频超高清晰度技术在真实环境中，把低清视频转换成高清，并且重现其中的细节内容，比如鲜明的人物面貌及精准的文本构造等。
• 提升空间的细腻程度借助文本转化为视频（T2V）扩散模型卓越的创作效能，能够创建出拥有精细空间要素的影片，从而使视觉内容达到更高的真实感与清晰度。
• 维持时间的一致性在增强视频清晰度时，确保各画面帧间的动态同步性至关重要，以防止运动模糊和画面跳跃的问题发生，从而使播放效果更为顺畅逼真。
• 减少退化图像瑕疵面对现实中视频遇到的各种复杂的质量问题，比如噪音干扰、画面模糊以及压缩失真等问题，STAR技术能够显著减少这些因素造成的不良影响，并提升整体视觉效果。

STAR的核心技术机制

• T2V架构融合在视频超分辨率的任务中整合大型预训练的文本至视频扩散模型。该T2V系统拥有出色的创造能力及广泛的时空理解，在根据文字说明创建高质视频方面表现出色，从而为提升视频清晰度的技术提供了坚实的模型支持。
• 区域细节强化组件（RDIR）在采用全局注意力机制前加入LIEM，旨在解决T2V模型对局部细节处理不佳的问题。通过运用基于局部注意力机制的LIEM，系统能够更聚焦于视频内的特定区域，强化局部信息的表现力，并有效捕捉及恢复视频中的细微之处，从而减少复杂退化现象引发的伪影效应。
• 动态频率（DF）的损耗STAR发布了一种用于改进模型训练流程的DF损失优化方案。该方法中的损失函数会依据扩散进程动态地改变对高低频率成分的关注程度，确保模型首先在初期着重于视频的基本结构和轮廓（低频信息）的重建，在后续阶段再逐步完善细节部分（高频信息）。

STAR项目的仓库位置

• 官方网站项目的入口您可访问该链接以了解更多信息：https://nju-pcalab.github.io/projects/STAR/ 这个网址提供了关于项目的详细资料。
• Git代码库：访问该项目的GitHub页面可使用此链接 https://github.com/NJU-PCALab/STAR
• arXiv科技文章在该论文链接中展示的研究（可访问于 https://arxiv.org/pdf/2501.02976），作者们探讨了其创新的学术观点和研究成果。

STAR的使用情境

• 影片创作通过对经典影视作品实施超分辨率技术升级，使其在当今的高清晰度显示屏和在线播放平台中展现出更加出色的画质，进而激发更多观众的兴趣，让这些传统作品焕发出新的魅力。
• 安全监视系统对于安防监控录像中的低清人脸图片，通过实施超分辨率技术来增强图像的清晰度，能够细致地展现面部特征，极大地帮助了案件调查与安全防护工作。
• 运动选手动作解析通过实施超分辨率技术于体育竞赛的实时视频流中，使得运动员的操作细节更为分明，这为教练员及数据分析专家提供了更详尽的信息来进行操作解析，并有望增强赛事表现。
• 医学图像处理通过对病理切片图实施超分辨率技术，能够精细地展示细胞与组织的微小构造，帮助医师做出更为精准的疾病判断。
• 科学研究通过对显微镜获取的低清图片实施超分辨率技术处理，在科学研究试验里为研究者们提供了更为精准的数据与影像材料。