港大与清华携手微软打造的文本转视频多智能体协同系统——GenMAC

88 0 0

什么是GenMAC？

GenMAC是由香港大学、清华大学及微软研究院联合开发的一个用于处理文本转视频过程中复杂情景构建问题的多智能体协作迭代框架。该框架通过任务分解为规划、创建和再设计三个阶段，并在创建与再设计之间形成反馈循环，逐步校验并改进生成的视频内容。其中，再设计环节被细分为验证、提出建议、修正以及输出结构化结果四个子步骤，这些由特定智能体依次执行完成。框架采用自适应自动路由机制来挑选最适宜当前情境的代理程序，从而提升视频生成的精确度与质量。

GenMAC的核心作用

整合文字与图像至影片创作中基于复杂组合的文字描述来创建视频，涵盖多种物体、特性链接、时态变化及物件间的互动情景。
更新工作程序采用包含设计、创作与重构三个步骤的迭代策略，并通过这些步骤间的反复循环来持续优化视频内容。
多个代理协同工作该结构采用了若干个专门的MLLM（多模态大规模语言模型）代理来协同工作，每一个代理都专注于执行某一具体的子任务，以此达到整体智慧的效果。
工作细分在重新设计的过程中，该阶段被细分为四个子任务：确认有效性、提供改进意见、实施调整以及生成结构化的成果，并且这些步骤将依次由特定的代理完成。
自动调整的路径选择机制GenMAC采用了一种智能自动路由机制，能够根据各种生成环境灵活调整，并从特定的代理池中挑选出最适合的一个来进行校正。
增强情境精确度和文字同步效果通过多代理协同工作及逐步优化的方法，增强视频场景识别的精确性，并使其更好地匹配文本描述。

GenMAC的核心技术原理

任务细分及职能专家化把繁复的视频制作工作拆解成若干简易的小项目，并分别为这些小项目指定专责代理人，每位代理人承担独特的职务与责任。
重复执行流程于生成与重构环节间引入迭代回路，使模型能够渐进式地检验并调整所创建的视频内容，以更精准地匹配文字描述。
代办合作由于提供的内容为空，没有具体内容可以进行伪原创改写。如果有具体的段落或句子需要处理，请提供相关内容。
- 检查代理有效性验证视频材料是否与文字说明相一致。
- 推荐代表根据验证的结果给出改进的提议，并挑选合适的调整工具。
- 校正代理人按照提议修改视频的构图与指引比率。
提供组织化的代理服务把校正后的信息转换成有序的数据形式，以便作为下次迭代的输入来源。
自动调整路径配置依据多样化的生成要求与应用场景，智能选取最为匹配的调整代理来解决一致性和时空变化等相关问题。
跨越不同阶段的信息传递流程于设计、创建及再设计的过程中，相关信息诸如构图安排、指引比率与文字提示等持续得到更新与交接，从而达到更加精准的视频制作效果。

GenMAC项目的网址

官方网站https://karine-h.github.io/GenMAC 页面的内容进行了重新表述，保留了原始信息但改变了表达形式。但由于提供的链接内容未给出，这里无法展示具体的改写结果。如果您提供具体文本，我很乐意帮您进行伪原创改写。
Git存储库：访问Karine-Huang的GitHub仓库以查看GenMAC项目 – https://github.com/Karine-Huang/GenMAC
arXiv科技文章这篇论文的详情可以在该网址找到：https://arxiv.org/pdf/2412.04440，其中包含了深入的研究内容和分析。