AniDoc —— 基于视频扩散模型的2D动画着色AI，自动为草图系列添加色彩变身彩绘动画

AniDoc指的是什么？

由香港科技大学、蚂蚁集团、南京大学、浙江大学以及香港大学联合开发的AniDoc是一款简化2D动画着色的人工智能模型。该模型利用视频扩散技术自动将草图序列转换为色彩丰富的动画，并且忠实于参考的角色设计。通过应用匹配处理，它能够有效地解决角色设计与原始草图之间的差异问题，确保色彩和风格的一致性传递。AniDoc兼容二值化草图输入，并采用背景增强策略来提高模型的稳定性和准确性；同时，利用稀疏草图训练的方法减少中间帧的人工绘制需求。此技术不仅能提升动画着色的质量及相邻画面一致性，还能够降低创作过程中的劳动成本并加快内容生成速度，在动漫制作及其他数字艺术领域有着广泛的应用前景。

AniDoc的核心特性

• 自动化着色能够把草图系列自动转化为色彩丰富的动画，大幅降低人工着色的劳动强度。
• 相适配对利用匹配技术解决参照人物造型与初步绘制之间存在的角度、尺寸及姿势上的偏差问题。
• 强化背景效果利用背景强化方法，提升模型区分前景与背景的性能，从而优化着色效果。
• 稀疏绘图学习通过采用简化的草图作为输入，可以降低中间帧的手绘负担，并借助关键帧插值得以创建流畅的动画效果。
• 适用于多种风格针对各种风格的参照图片，确保给同一角色的不同素描稿带来统一的着色效果。

AniDoc的操作机制

• 视频传播模型利用视频扩散技术，把握时间变化及画面连续性特征。
• 相应的着色指导通过采用明确的匹配策略，把参照人物设定里的颜色与样式元素融入初步构图里，以增强颜色精确度及统一性。
• 二进制转换与背景强化采用二值化方法处理条件草图，并利用背景增强技术来提升模型的稳健性能。
• 稀疏草图学习采取分步训练的方法，初始阶段专注于掌握着色技巧，随后移除辅助草稿以培养图像过渡技能，并降低对复杂草稿结构的依賴。
• 三维U形网络结构包含一种专为视频降噪而设计的3D U-Net，并在着色时融合参考图片的信息。

AniDoc项目的网址

• 官方网站项目的入口https://github.io/yihao-meng/AniDoc
• Git代码库：访问此链接以查看Yihao Meng的AniDoc项目 – https://github.com/yihao-meng/AniDoc
• 关于arXiv的技术文章访问该链接以阅读最新的研究论文：https://arxiv.org/pdf/2412.14173，本论文提供了深入的技术分析和创新见解。

AniDoc的使用情境

• 动漫创作于传统二维动画创作过程中，实现角色轮廓图的自动化着色，旨在减轻绘师的手动填色时间及劳动负荷。
• 动画行业对动漫制作企业而言，提升动画生成的效率、减少开支并确保各场景下人物色调统一至关重要。
• 制作电子游戏在游戏中迅速创建角色动画，在特别需要丰富多样的角色动作场景时尤为关键。
• 电子艺术制作创作者们尝试多种颜色搭配方案，迅速在初步设计中查看着色效果，从而加快作品的制作进程。
• 教育培训在动画的教学与培训环节里，它被用作一种教学资源，旨在辅助学生们掌握色彩填充的步骤，并亲身体验动画创作的技术细节。