腾讯开发的游戏视频创建工具GameGen-O——自动构建人物、环境、行为及情节

GameGen-O代表什么

GameGen-O 是由腾讯研发的一款基于 Transformer 架构的游戏视频生成系统，专为创建开放世界的视频游戏而设计。该系统能够模仿多种游戏引擎的功能特性，涵盖角色创造、动态场景构建以及复杂动作的模拟，并支持交互式控制选项，允许用户通过文本输入、操作指令和视频引导来操控内容生成。GameGen-O 的开发过程中包含了大量数据的采集与处理工作，并由此建立了首个开放世界视频游戏数据库（OGameData）。该模型采用了分阶段训练的方法，先进行基础模型预训练再做特定任务调优。它的问世预计会对游戏行业的制作成本及时间带来显著缩减效应，同时极大地丰富了玩家的内容创作空间。

GameGen-O的核心特性

• 人物创建可以根据用户提供的文字指示创造多种人物形象，比如西部枪手、宇宙宇航员、魔法师等。
• 创造情境能够构建出变化多端的游戏世界，以匹配多样化的游戏玩法与情境。
• 动作创造能够创建包括驾驶、飞行和射击在内的复杂角色动作。
• 创建事件能够创造游戏中多种多样的情况，例如气候转变和自然灾难等。
• 互动操控玩家能够利用文字指令、动作信号以及视频线索来操控游戏情节，从而享受互动式的游玩感受。

GameGen-O的核心技术机制

• 广泛领域创造GameGen-O 具备创造多样化的游戏组件的能力，涵盖角色设计、场景构建、行为模式及情节发展等方面，极大地丰富了游戏的创作空间。
• 可操控的互动性该模型具备创建游戏元素的能力，并允许玩家利用 InstructNet 模块实现互动操控，包括调整角色动作、场景设置以及事件进程等方面。
• OGameData 集合在GameGen-O的研发过程中，科研小组创建了一个庞大的开放世界电子游戏数据库OGameData，该数据库汇集了超过150款游戏中逾4000小时的游戏录像片段，并涵盖了广泛的 gameplay 类型与艺术风格。
• 分步式培训过程该模型采用了一个分两个步骤进行的培训方案。初始阶段侧重于基本模型的预先训练，目的是掌握生产高品质游戏录像的技术；随后在第二个阶段里，通过对特定命令的调整优化，使得模型能够依据用户的指示来创造及操控内容。
• 技术革新GameGen-O 结合了多项前沿技术，包括2+1D VAE视频编码压缩、融合式训练方法以及遮罩注意机制，以保障其性能稳定和产出高质量内容。
• 构造数据集与执行培训流程通过从网络收集到32,000个原始视频，并经过专业人员的选择与GPT-4o系统的标注处理，构建了一个高质量的数据集用于模型训练。在基础训练阶段，采用变分自编码器技术来压缩这些视频片段，并实施了结合多种帧率和分辨率的混合策略进行培训。
• DirectiveNetwork于模型微调的过程中，引入了具备学习能力的InstructNet来处理多元化的输入信息如文字、动作指令及视频线索，以此达成对产出内容进行互动调控的目的。

GameGen-O的项目位置

• 官方网站：访问站点 gamegen-o 的 GitHub 页面
• GitHub代码库：访问该项目的GitHub页面，请前往 https://github.com/GameGen-O/GameGen-O/

GameGen-O的使用情境

• 创建游戏初始模型使用 GameGen-O，开发者能够迅速创建游戏雏形，试验各种游戏组件，并大幅减少从头开发整个游戏所需的功夫与努力。
• 创建环境与情境设置GameGen-O 具备生成生动游戏环境与复杂情境的能力，极大地丰富了游戏世界的视觉体验。
• 行为与事务创造该模型能够创建复杂的人物动态及游戏中各类情景，例如海浪侵袭、旋风肆虐与火焰蔓延，从而提升游戏的交互体验和难度系数。
• 支持游戏制作GameGen-O 能够在游戏制作过程中提供支持，利用人工智能模型承担一部分开发任务，从而加快研发速度。
• 探究与教学针对研究人员与教育工作者而言，GameGen-O可用作一个科研工具，助力于探究包括视频游戏人工智能开发、交互式操控及高度沉浸的虚拟场景构建等多个领域。