清华与腾讯联手打造的图像序列上色模型 — ColorFlow

ColorFlow指的是什么

ColorFlow是由清华大学与腾讯ARC实验室联合研发的一款专注于图像序列上精细个体识别并实现精准着色的技术模型。它采用检索增强策略、上下文学习方法和超分辨率技术来保证黑白图像序列在进行色彩填充时，能够忠实于参考图的颜色风格，非常适合用于漫画创作及动画制作等领域。通过对CLIP-IS的改进以及FID值的降低，并通过提高PSNR和SSIM分数以增加AS（准确性），ColorFlow展示了其超越现有技术水平的能力，在图像序列着色方面树立了新的行业标杆。

ColorFlow的核心特性

• 搜索增益流程（Search-Enhanced Process,SEP）在上色过程中，通过从参考图片库中挑选出与给定的黑白图片最为匹配的色彩区块来进行引导。
• 色彩填充流程（Contextual Hue Application Process, CHAP）利用先进的上下文理解能力精确识别色彩属性，并通过双重路径架构实现上色。
• 导向型超级分辨率流程（Directed Super-Resolution Process, DSRP）通过对低清的着色结果实施上采样处理，能够生成高清彩色图片，并且进一步优化细节再现及提升最终成像品质。

ColorFlow的运作机制

• 基于检索的增强（Enhancement with Retrieval-Based Approach）通过利用预先训练好的CLIP图象编码模型来创建输入图象与参照图象的数据嵌入表示，并据此计算它们之间的余弦相似性得分以确定最为相近的参照图区块，这一过程应用于接下来的颜色填充训练阶段中。
• 根据上下文进行色彩填充（Contextual Hue Application）引入辅助模块“色彩引导器”以融合条件信息，并借助U-Net扩散模型逐步集成特征，实现精确到像素级别的条件嵌入。通过采用轻量级LoRA（低秩适应）技术对预先训练的扩散模型进行微调，从而保持其着色功能。
• 超高分辨率提升(Super-Resolution Enhancement)在解决着色过程中出现的降采样难题时，降低对结构的真实性的损害。通过融合高清晰度的灰阶图片和色彩较少但已上色的小尺寸图象，来优化细节再现效果，并进一步改善最终图像的质量。
• 自关注机制（Self-Attention Mechanism）于扩散模型内运用自我注意力技术时，会将参照图与灰度图合并至同一画板之上，并从中抽取特性信息，随后这些信息会被分层级地馈入扩散模型以完成色彩填充过程。
• 时间点偏移采样方法（Timepoint Offset Sampling）优化采样方法，着重于加大时间间隔的采样力度，以提升渲染效果的质量。
• 显示屏样式强化（Display Style Enhancement）通过对灰度图与ScreenVAE生成内容实施随机线性内插处理，以加强输入影像的样式兼容，并优化其色彩填充效果。

ColorFlow项目的仓库位置

• 官方网站项目的入口https://zhuang2002.github.io/ColorFlow 页面展示了相关的色彩流动效果。
• Git代码库：可在TencentARC的GitHub仓库中找到名为ColorFlow的项目。
• HuggingFace的模型集合访问此链接以查看TencentARC开发的ColorFlow模型：https://huggingface.co/TencentARC/ColorFlow
• 关于arXiv的技术文章本文讨论的研究成果可在如下链接获取：https://arxiv.org/abs/2412.11815，该论文提供了深入的学术见解。请注意，实际内容需访问原文进行查阅和理解。
• 网上试用演示版访问此链接以查看TencentARC开发的色彩流项目: https://huggingface.co/spaces/TencentARC/ColorFlow

ColorFlow的使用情境

• 动漫与动画上色把黑白的漫画或是卡通图转变为色彩丰富的画面，非常适合于创作者如漫画家与动画师，在他们的创作流程中迅速为线条画增添颜色。
• 旧相片恢复为历史上的黑白影像上色，以还原往日时光的照片真实色彩，提升历史性图像的视觉吸引力。
• 影片与视像的后制处理应用于黑白影片的色彩还原，或是为当代影视作品创造独特的色调风格。
• 创意艺术作品创作者在黑白艺术品上施加色彩，或者在其创作之旅中试验多种色调组合。
• 教育与求知过程在教学行业中，该工具用于辅助学生们掌握色彩如何改变图片的外观，并且深入学习有关图像编辑与计算机视觉的基础知识。