厦大与网易伏羲共同开发的综合故事视觉化人工智能模型 —— StoryWeaver

StoryWeaver指的是什么？

StoryWeaver是由厦门大学多媒体可信感知与高效计算教育部重点实验室及网易伏羲人工智能实验室联合开发的一款AI模型，它通过增强的知识来定制故事中的角色，并实现高质量的故事视觉化表达。该系统运用了创新性的知识图谱——Character Graph，对故事中的人物、特性及其相互关系进行了详尽的描绘。借助Customization via Character Graph（CCG）和知识强化的空间指导技术（KE-SG），StoryWeaver能够精确地融入角色的意义，并生成与文本描述相吻合的一系列图像。系统在维持角色身份一致性及确保语义同步方面表现出色，显著提高了故事视觉化的精准度与表现力。

StoryWeaver的核心特性

• 角色设计及视觉展示依据文字描述与人物图片创作一连串故事的可视化画面，精准塑造指定人物的模样。
• 意义一致该系统能够保证产生的图像系列在意义上与文字说明保持统一，也就是说，图片的内容会和文字的叙述相对应。
• 知识图表的应用该系统具备理解并描绘故事内人物详尽特征及人物相互关系的能力。
• 多个角色间的交互活动StoryWeaver具备管理包含多个角色的故事环境的能力，确保每位人物的独特身份，并展示他们之间流畅的交流与互动。
• 交叉注意力分布在多角色的故事中合理安排焦点，防止人物身份混淆。

StoryWeaver的工作机制

• 人物图谱(CG)创建知识图谱CG时，采用包含实体节点（代表人物）、特性节点（描述人物特点的属性）及互动事件（描绘人物之间关联的动作或情况），这些元素协同界定出故事情节的关键组成部分。
• 个性化通过字符图谱（PCG）利用CCG框架，把CG里的系统化信息转换为更为丰富的场景描绘，以提升人物定位稳定性和情节意义匹配的统一性。
• 基于知识的空間引導增強(KE-SG)运用知识编码器来捕捉各类角色的独特属性，并依据这些属性校正起始位置的预期设定，修正不正确的交叉注意力分布图以保证每个角色的相关信息能够精确聚焦于故事情节中的恰当部分。
• 注意性机制调整通过调整注意力分布来强化关键人物所在区域，并降低对不相关背景部分的重视程度，以提升包含多个主要人物的故事场景的视觉表现效果。
• 一致的架构StoryWeaver 提供了一个集成平台，能够同时支持单一角色与多个角色的故事视觉化工作。

StoryWeaver项目的网址位置

• Git存储库：在GitHub平台上可以找到Aria-Zhangjl用户发布的项目StoryWeaver，地址如下所示。
• arXiv科技文章访问链接以获取最新研究成果的PDF文件: https://arxiv.org/pdf/2412.07375

StoryWeaver的使用情境

• 教学支持利用StoryWeaver创建的故事图片来帮助孩子在语言和文学的学习上取得进步，并激发他们对阅读的热爱。
• 绘制漫画作品生成漫画情节的结构图片，加速创作者的工作进程。
• 交互式游戏在角色扮演游戏里，依据玩家的决定实时构建故事线与画面效果。
• 定制化广告针对各类产品的独特性创作个性化的故事情节广告，以增强广告的吸引力并提高其成效。
• 影片概览把电影剧本转变成可视化的画面，辅助导演在项目初期就能做好规划并提前查看效果。