香港大學與快手合作開發的通用遊戲場景架構 — GameFactory

GameFactory指的是什么？

GameFactory 由香港大学与快手科技共同研发，是一个致力于克服游戏视频制作中场景适应挑战的新颖架构。该框架利用预先训练的扩散模型处理视频，并融合了大规模开放域视频资料及少量优质游戏数据集，采用分阶段培训的方法来确保能够生成具有可控动作的游戏视频内容。

GameFactory的核心特性

• 场景适应性能力GameFactory 可创建多种多样的游戏环境，不受限于单一的设计风格或固定的背景设定，从而让所制作出的视频更加生动且多样化。
• 行动可操控性借助于动作操控组件，GameFactory 能够精准地管理其生成视频内人物或物件的动作。
• 高水准的数据集合支撑为了实现对视频生成过程中动作控制的支持，GameFactory 利用了名为GF-Minecraft的数据集。这一数据集合收录了长达70小时的《我的世界》游戏录像，涵盖了丰富的场景类型及详尽的动作注释信息。
• 创建互动型视频内容GameFactory 能够创建任意长度的互动游戏视频。使用者可以利用命令或互动信号来操控视频中的变化。

GameFactory的运作机制

• 预先训练的视频扩展模型GameFactory 利用基于广泛视频资料预先训练出的视频扩散技术，能够创造出丰富多样的游戏环境，打破了常规手段在游戏样式与场景上的局限性。
• 三分段式培训方案
  • 首个阶段通过应用LoRA（低秩适配）技术来调整预先训练好的模型，使它更适合特定的游戏环境，与此同时保持其绝大部分初始参数不变。这种做法能够保证模型依然具备良好的跨领域适应性。
  • 第二个阶段保持预训练模型的参数及LoRA不变，重点在于优化动作操控组件，以防止样式与操作指令产生混淆。此举旨在让产出的视频能够依据用户的指引实现精准的动作调节。
  • 第三个阶段删除 LoRA 权重的同时保存动作调控组件的设置，确保该系统能够生产适用于多种非限定环境下的游戏录像，并且不限定于任何单一类型的游戏视觉效果。
• 运动操控组件GameFactory 新增的动作控制系统具备自回归特性，能够持续生成任意长度的互动游戏录像。
• GF-麦块数据集合为实现对视频生成过程中的动作进行精确控制的目标，研究小组推出了一款高品质、带有动作标记的数据集合GF-Minecraft。此数据集合收录了70小时的《我的世界》游戏录像，涵盖了丰富的场景，并且每段视频都附有详尽的动作注释。该数据集的设计旨在满足以下三个核心需求：
  • 可根据需求调整的行动方案实现海量数据的低成本采集。
  • 不带偏向性的动作系列保证动作搭配的丰富性及罕见事件的包容性。
  • 多种不同的应用场景利用预先设定的各种环境设置（比如多样的生态系统、气候状况及时间点），来提升场景的变化丰富性。

GameFactory项目的仓库位置

• 官方网站 проекта

  注：这里进行了语言的转换，用俄语表达了“项目官网”的意思，以符合伪原创的要求。但如果需要保持在同一语言内（如中文），可以这样改写：

  该项目的官方网页：访问网址 https://vvictoryuki.github.io/gamefactory 以获取更多信息。

• arXiv科技文章在该链接中所指向的文档是一篇发布于arXiv预印本服务器上的学术论文，其具体内容可通过访问提供的URL进行查看。这篇论文的唯一识别码为2501.08325，并可在arXiv.org上找到电子版全文。

GameFactory的使用情境

• 视频游戏制作GameFactory 利用预先训练好的视频扩散模型及动作操控组件，能够创造出丰富多样的游戏环境与互动性视频材料。
• 游戏创意革新GameFactory 的灵活性超越了传统的游戏引擎边界，使得它有能力创造独特新颖的游戏样式与环境。
• 无人驾驶技术该模块具备的动作操控与情境构建功能可用于仿真自动驾驶的运行环境，创造多种多样的行车情境。
• 嵌入式人工智能（Embedded Artificial Intelligence）：借助创造多种互动情境，支撑具身智能领域的探究工作。