萨里大学开发的文本驱动自由草图动画AI平台 — FlipSketch

FlipSketch指的是什么？

FlipSketch 是萨里大学开发的一款创新工具，能够把静态图像转换成由文本指导的草图动画。该技术依赖于三项核心技术创新：调整风格以生成帧、利用噪声细化来维持输入草图视觉完整性的参考帧方法，以及实现平滑动作同时保持视觉连贯性的双注意力合成技术。与传统的矢量动画相比，FlipSketch 能够支持动态变换的草图效果，捕捉到传统手绘动画中的自由表达风格，并使草图动画制作变得更为简易直观，同时也保留了其艺术特质。

FlipSketch的核心特性

• 由文字指导的动画创作用户提供文字说明来指引草图动画的创作过程，使得动画制作更为直接且简便。
• 维持草图状态在整个动画制作中，系统保留了初始草图的视觉特点与独特个性，从而保证生成的动画不仅流畅一致，还能忠实地反映出原初设计的独特韵味。
• 动态素描变换把静止的草图转变为具有动感的动画，并且能够实现基于场景的互动功能，从而使生成的动画更为鲜活与引人入胜。
• 维持艺术特质在实现自动化动画创作时，FlipSketch 确保了手绘风格的生动与魅力得以保留，使得完成的作品同时兼具科技的现代感和艺术的独特韵味。
• 创新技术通过运用微调技术、参考帧策略以及结合双注意力机制等方法，增强了动画的品质与真实感，使得动画画面更为顺畅且栩栩如生。

FlipSketch的工作机制

• 从文字生成视频的扩展模型通过利用文本引导的视频扩散模型中的动作先验知识，一个预先训练好的系统能够依据文字说明来创造视频片段。随后对该模型进行了定制化调整，以更好地满足卡通素描动画的独特要求，尤其是实现连续且具有一致性草图风格帧序列的生成。
• 调整具有手绘风格的画面创作该系统利用调整过的预训练模型来创建与素描特征相匹配的图像，并保证所生成的动画不仅能维持原素描的艺术风格，还能实现必要的流畅过渡。
• 参照帧系统利用噪声细化技术，该系统维持了原始素描的艺术完整度。此方法通过一系列精细调整步骤，保证每个阶段的画面都忠实于初始构思，并且保留素描的核心艺术特色。
• 双重注意融合这种方法创新地实现了在维持视觉统一性的前提下达到平滑的动作效果。通过采用双重注意机制，在降噪处理中区别对待并传输宏观与微观细节，从而精细调控动画生成过程中的形象稳定性和动作真实性。
• 格状结构通过采用光栅架构来促进动态素描转换，以捕获传统动画中的灵活表达效果。该架构增强了对复杂影像操作的支持能力，使得动画作品能够展现出更加丰富详尽的内容及更为生动的变化形态。

FlipSketch项目的网址位置

• 官方网站项目版块https://github.io/hmrishavbandy/flipsketch-web
• 关于arXiv的技术文章在该链接中提供的文档为一篇来自arXiv的预印本论文，其详细内容可通过访问指定URL获取。

FlipSketch的使用情境

• 幼儿教学制作交互式的教育资料，例如动画版的故事书籍，以增强孩子们的学习热情。
• 影片预制作于影片创作初期阶段，迅速绘制动画初稿以实现剧本与场景的视觉化呈现。
• 展示商品功能创作新产品的动画展示，以介绍其特性和操作步骤。
• 电子艺术品创作者在数字领域中制作艺术品，探寻创新的视觉表达手法。
• 交互式展示在美术馆或艺术展示活动中，设计具有交互功能的展览环节。