点击跟随 —— 腾讯等公司开源的图片转视频工具，实现区域动态化

跟随点击(Follow-Your-Click)是指什么？

Follow-Your-Click是由腾讯公司（混元团队）与清华大学及香港科技大学的研究人员共同开发的一款从图片生成视频（Image-to-Video, 简称I2V）的技术模型。用户能够借助简单的点击操作和简短的动作指引来制作局部图像动画，实现将静止的图片转变为动态视频的效果。此技术特别针对现有大多数图片转视频方法缺乏局部动画功能、只能整体移动画面的问题而设计。

访问Follow-Your-Click的官方网站入口

• 官方网站地址：https://follow-your-click.github.io/
• 在arXiv上发布的一篇学术文章中探讨了相关议题：https://arxiv.org/abs/2403.08268（备注：计划于四月提供源代码及演示版本）
• 码云仓库链接：https://gitee.com/mayuelala/FollowYourClick

Follow-Your-Click的核心特性

• 易于操作的互动体验“借助Follow-Your-Click的直觉式操作界面，用户能够轻易地用点击方式选定动画范围，并利用简洁的指引词汇来设定所需的动画风格与行为。”
• 区域动画创作用户能够通过选中图片内的某些特定位置来激活那些位置上的动画功能。也就是说，用户可以挑选图片中的任意部位并赋予其动态表现形式，比如使对象展现出微笑、晃动或者位移的效果。
• 多个物体的动态效果该模型能够实现对图片内多物体的同时动画化操作，使用户能够构建更加丰富多彩及复杂度高的动态画面。
• 简洁的动作指导用户提供一段简单的动作说明后，该模型便能够准确解析并创造出对应的动画视觉效果。这种方式大大缩短了动画创作的时间，并且降低了使用门槛，让用户避免了繁琐的操作和详尽的文字描述需求。
• 制作高清晰度的视频内容该模型运用了前沿的技术手段，包括初始帧掩码方法及依托光学流动性的动作强度调控机制，旨在保证产出视频的质量卓越且极具真实性。
• 调控运动速率该模型同样赋予了用户调整动画角色移动速率的能力，借助精细操控以适应多样化的动画创作要求。

“点击即跟随”的功能机制

1. 用户体验互动由于提供的内容为空，没有具体的信息可以进行伪原创改写。如果您能提供具体的文本或信息，我很乐意帮您完成这项任务。用户可通过点击图片的特定点位来选定需添加动画效果的部分。此种互动形式简便易懂，无需执行复杂步骤或给出详尽说明。随后，用户给出一个简单的动作指令，例如“晃动身子”或是“展现笑容”，以此明确选定部位需要完成的行动。
2. 图片划分由于提供的原文内容为空，没有具体文字可供改写。若有具体内容，请提供以便进行相应的处理和创作。为了让用户点击转变为适用于动画处理的区域遮罩，系统整合了名为SAM（泛化分割模型）的功能模块。作为一款响应式图像分隔软件，SAM具备依据用户点选来创造精确对象遮罩的能力。
3. 初始掩码方案由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您有特定的文本需要处理，请提供相关内容。为提升视频生成的效果，该系统引入了首帧掩码机制。通过在训练阶段对输入图片的隐藏表达进行部分随机掩盖，此方法增强了模型捕捉时序关联特性的能力，并大幅改善了所产视频的品质。
4. 提升运动性能的组件请提供需要伪原创改写的具体内容，当前消息中并未包含相关内容。为了提升模型对简短视频指令的反应能力，架构中引入了一个专门强化运动识别的部分。此部分借助新增的一个交互式注意机制来放大模型对于动作关键词的关注度。在训练的过程中，该组件通过一系列简洁的动作提示进行优化；当进入预测阶段时，则会将这些提示信息传送给负责增强运动感知的功能模块以及U-Net的交叉注意力子系统中去。
5. 利用光流实现动作强度调控由于提供的内容为空，没有具体的信息可以进行伪原创改写。如果您能提供具体内容，我很乐意帮您完成这项任务。传统上，对运动强度的调节是通过改变每秒显示的图像帧数（FPS）来实现的。但是，这种策略无法精确管理特定对象的速度变化。为了更精准地掌握移动速率的学习过程，该框架创新性提出了一个依托于光流分析的技术方案用于控制运动的程度。此方法通过对光流强度进行平均计算，并将结果映射至位置编码中，在各个帧序列间保持了一致的动态调整效果。
6. 制作影片由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您有具体段落或句子需要我帮助修改，请提供详细信息。于推演过程中，通过用户的点选位置与简洁的动作指引来创造动画影片。该系统融合了用户选定区段的遮罩信息及动作指南，进而产出一系列流畅衔接的画面序列，在此期间维持其他图像区域不变动。