DiffSensei – 一款能够创造可控制黑白漫画面板的人工智能框架

DiffSensei指的是什么

来自北京大学、上海人工智能实验室以及南洋理工大学的研究团队共同开发了名为DiffSensei的漫画创作系统，该系统能够创建可调控的黑白漫画场景。通过结合扩散模型驱动的图像生成功能与多功能大型语言模型（MLLM），DiffSensei实现了对漫画中多个角色外貌及互动细节的高度精准控制。利用掩码交叉注意力机制和适应于MLLM的技术调整模块，系统可以根据文本指令动态修改人物特征如表情、姿态以及动作，从而生成视觉效果出色且连贯性良好的漫画画面。此外，DiffSensei还借助MangaZero数据集支持实现包含多个角色及多种状态的复杂漫画创作任务。

DiffSensei的核心特性

• 个性化漫画创作依据用户提供的人物图片与文字说明创作漫画，并允许用户个性化调整人物的形象、面部表情及姿态。
• 多种角色管理该系统能够为包含多个角色的漫画创作提供支持，并且有效管理这些角色之间的交互及排列布景。
• 适用于多种文本格式的适应性调整利用MLLM技术，依据文本提示灵活修改角色属性，确保角色的行为和表现符合文本的描绘。
• 精准布控安排采用遮罩交叉注意力机制，精准调控人物与对话的位置排列，无须进行像素的直接传递。
• 提供数据集支持采用名为MangaZero的数据集，这是一个专为涉及多个角色和多种状态的漫画创作任务而设计的大规模标记集合。

DiffSensei的核心技术机制

• 结合MLLM与扩散模型利用MLLM充当适应性文本接口，并配合扩散模型驱动的图片创造工具，以制作个性化的漫画场景。
• 遮罩交叉关注(Masked Cross-Attention)：克隆关键与数值矩阵，并在每个多头自注意力模块内设立专门的角色专注机制，以达成对角色编排的高度精准调控。
• 对话结构编码（Dialogue Structure Encoding）通过采用能够学习的嵌入层来描述对话结构，并结合带有噪音的潜在特征向量，我们实现了对对话中各元素位置的有效编码。
• 多层语言模型用作特性调整器MLLM以源角色的特性及面板标题为输入信息，创造出与其文本内容相匹配的目标角色特性，并实时调节角色的状态。
• 多种角色属性抽取通过运用CLIP与图片编码器来捕获细节区域的视觉特性及整图属性，在不直接解析参照图以获取精细空间特性的前提下，依靠这些工具进行信息抽取和处理。
• 传播损耗与言语模型损耗在对MLLM进行训练的过程中，通过计算语言模型的损耗来规范输出的形式，并利用均方误差损耗来引导目标角色特性的调整，该特性是根据面板标题而定的。同时，还计算了扩散损耗以确保修改后的特征与图像生成器之间的兼容性。

DiffSensei项目的网址

• 官方网站访问链接 https://jianzongwu.github.io/projects/diffsensei 可以查看相关项目。
• Git代码库：访问此链接以查看项目详情 https://github.com/jianzongwu/DiffSensei
• 关于arXiv上的科技文章在该链接中提供的文档（可访问于 https://arxiv.org/pdf/2412.07589）展现了研究内容的详细信息，通过不同的表述方式重述了原始资料的核心思想。

DiffSensei的使用情境

• 动漫绘制创作者与插画师联手打造漫画画面，迅速完成由剧本至图像故事的转变，显著提升制作效能。
• 定制化内容创造：基于用户的创意构思和上传的角色图像，系统会创作出独一无二的漫画作品，适用于私人乐趣或是社交平台上的共享。
• 教育培训于教育行业之中，制作符合课程资料的视觉叙述能够辅助学员更有效地掌握并回忆起繁复的知识点。
• 预先制作的电影与游戏内容在影视创作与游戏开发领域内，利用预先构建的工具可以迅速创建故事情节框架或概念美术作品，这有助于早期构思及视觉元素的设计工作。
• 宣传与推广市场专员设计了富有创意的卡通广告，以独特的方法来抓住潜在客户的眼球。