港中大携手Adobe等机构开放的创建透明背景影片的技术——TransPixar

TransPixar指的是什么？

由香港中文大学、Adobe研究院、香港科技大学及智能摩尔共同开源的TransPixar是一种先进的文本转视频生成技术，旨在扩展预训练RGB视频模型以生成包含透明度信息的RGBA视频内容。该方法依托扩散变换器（DiT）架构，并通过添加特定于alpha通道的标记和采用LoRA微调策略实现对RGB与alpha通道的一致性联合生成。TransPixar改进了注意力机制，继承了原RGB模型的优点，在训练数据有限的情况下也能产出多样化且高度匹配的RGBA视频。它能够创建出包含如烟雾、反射等透明效果的逼真视觉内容。在娱乐、广告和教育等多个领域中，TransPixar展示了其广泛的潜在应用价值，并为视效（VFX）及交互式内容创作开辟了新的可能路径。

TransPixar的核心特性

• 创建RGBA格式的视频文件通过文字说明制作出带有RGB色彩层及Alpha不透明度层的影片，以达成精妙视觉效果的设计。
• 透视为效处理能够创建具备透明特性的组件，例如烟雾或反射效果，并使其自然地与背景融合，非常适合用于视觉特效(VFX)等领域。
• 高品质视像制作在创建RGBA格式的视频时，维持原有的RGB视频生成模型的高水准质量标准，以保证输出图像既细腻又富含细节。
• 适用于多种情境该技术能够广泛应用于多种情境与物体类别的视频创作中，涵盖人物行为、自然风貌及各类动感特效等方面，并展现出优秀的适应性能。
• 以文字为导向的内容制作依据提供的文字说明来创建相应的视频素材，从而完成从文字向视频的自动制作过程，以此提升内容制造的速度与创新水平。

TransPixar的核心工作机理

• 传播转换器（DiT）结构利用DiT模型并通过自注意力机制来识别视频帧间的远程依赖性，以达到精准构建与生成视频内容的目的。
• 创建alpha透明度通道在DiT模型里加入专门针对alpha通道的token，并结合RGB token共同进行生成，从而达到产生包含透明度信息的目的，进而能够提供完整的RGBA格式视频输出。
• 对LoRA进行细微调整采用LoRA（低秩适应）技术实施微调策略，针对alpha令牌的映射执行精细化调整，在维持RGB图像合成品质的前提下，提升透明度通道的表现效果。
• 改进注意力机制通过对RGBA生成过程中注意力机制的深入解析与改进，涵盖了文本关注于RGB、RGB聚焦于文本以及RGBO针对透明度的关注等方面，并通过优化这些注意权重的计算方法，实现了高精度的颜色与透明度对齐及优质图像输出。
• 数据集的扩充及训练方法通过对有限的RGBA视频资料集实施有效的数据预处理及科学的训练方法，在此基础上优化模型以更好地应对各种场景与物体类型的变化，并提升其在内容多样性与一致性的表现水平。

TransPixar项目的网址位置

• 官方网站项目版块访问此链接以查看Transform Pixar项目：https://wileewang.github.io/TransPixar/
• Git存储库：访问此链接以查看wileewang创建的TransPixar项目 – https://github.com/wileewang/TransPixar
• arXiv科技文章在该链接中所指向的内容是一篇发布于arXiv平台的研究论文，具体可访问此网址查看详细信息：https://arxiv.org/pdf/2501.03006。这篇文档包含了作者们的最新研究成果和理论探讨。
• 网上试用演示版本需要提供具体的内容来进行伪原创改写，请给出相应文本。访问此链接以查看由wileewang创建的TransPixar空间：https://huggingface.co/spaces/wileewang/TransPixar

TransPixar的使用情境

• 文娱行业迅速创建星球爆破的视觉效果场景，支持科幻影片的后制工作。
• 营销行业创建一款宣传新车型外观与行进状态的广告影片，以激发消费者的兴趣。
• 教育培训行业创建展示物体在力的作用下移动的动画视频，用以帮助阐释物理法则，并增强学生的认知水平。
• 提升现实(AR)创建高度真实的巴黎全景观赏视频，以增强虚拟现实旅行应用程序的沉浸感。
• 创新行业打造幻想世界的视频内容，扩展数字艺术的表达手法与创新领域。