奇虎T2X – 由360人工智能研究院与中山大学共同开发并开放源代码的高性能多模式生成模型

QIHOO-T2X指的是什么？

Qihoo-T2X 是由360人工智能研究院与中山大学联合开发的一款高效多模态创作模型，它基于代理标记化扩散Transformer架构。该模型通过采用稀疏的代理标记注意力机制，大幅减少了传统扩散Transformer在全局自注意力计算上的冗余问题，并结合了窗口和移位窗口注意力技术来优化细节表现力。Qihoo-T2X能够支持多种生成任务，例如从文本到图像（T2I）、文本到视频（T2V）以及文本到多视角图像的转换（T2MV）。

奇虎T2X的核心特性

• 从文字生成图片依据提供的文字说明创作出精细且清晰度高的图片，确保所创建的画面精准反映文字的内容，这项技术特别适合应用于创新设计和艺术品制作等行业中。
• 从文字转变为影像依据文字叙述创建流畅的影像片段，能够打造动感画面及影片系列，非常适合用于影视创作与动漫生产等领域。
• 从文本生成多个视角的展示依据文字说明创建同一主题或环境的不同角度影像，适合于三维物品的全方位展现，并兼容虚拟现实(VR)及增强现实(AR)技术的应用。
• 有效创建通过采用改进的代理标记化注意机制，大幅减少了计算需求，使得系统能够更有效地处理高清晰度图片及长时间视频内容，并且降低了培训与推断过程中的开销。

奇虎T2X的运作机制

• 委托符号化关注传统的扩散 Transformer 模型依赖于全面的自我注意机制，这导致了较高的运算成本和不必要的冗余问题。PT-DiT（由Qihoo-T2X开发的核心框架）则采取了一种不同的方法，在每个时空区域内计算出平均标记作为代理标记，并对这些代理标记执行自注意力操作，从而大幅降低了所需的计算资源。全局语义信息通过交叉注意机制从一个代理标记传递到另一个，并最终融入所有的潜在标记中，确保了整个系统能够有效地传播全面的信息。
• 窗式注意机制及偏移窗式注意机制为了提高对局部细节的模拟效果，PT-DiT 采用了窗口化注意策略，在限定的小区域内执行自我关注操作于各标记之上。同时应用了偏移窗口注意技术来防止由固定区域分割引发的“格状现象”，从而有效增强了输出的质量。
• 高效的稀疏代理标签计算方法利用稀疏代理标签方法，PT-DiT 能够在处理高分辨率图片及长时间视频的过程中大幅减少计算负担，并同时维持产出质量的高水平。
• 多种任务的灵活性PT-DiT 的框架能够灵活应用于图像创建、视频制作及多视角内容生产等各类场景，且不需要做大幅度的模型结构调整。

Qihoo-T2X的项目位置

• 官方网站项目访问此链接以查看相关内容：https://github.io/360cvgroup/Qihoo-T2X
• Git代码库：访问该项目的GitHub页面可前往 https://github.com/360CVGroup/Qihoo-T2X
• 关于arXiv的技术文章访问该链接可获取论文的PDF版本：https://arxiv.org/pdf/2409.04005，其中包含了详细的研究内容。

奇虎T2X的使用情境

• 创新设计及艺术构思根据文字说明迅速创作出高品质的艺术图片，兼容各种风格的选择，并能加快设计工作的进程，给予创作者新的启示。
• 制作视频材料创建流畅的动画影片，适合用于广告推广及动画项目中，以降低视频制作的成本与周期。
• 教育培训制作用于教学的图片与视频，协助学生们掌握复杂的知识理念，并提供虚拟实验环境及互动式学习资料。
• 休闲与游戏设计创建虚构环境、人物及互动元素，应用于游戏制作、虚拟现实(VR)与增强现实(AR)软件中，以加深用户的沉浸体验。
• 推广与市场宣传高效创建定制化广告图与视频片段，增强市场推广成效，契合品牌形象的视觉素材要求。