NVIDIA与特拉维夫共同发布的一款文本转图像工具——ComfyGen

ComfyGen指的是什么

由NVIDIA和特拉维夫大学的研究团队开发的ComfyGen是一种创新的文字转图像生成系统，它利用大型语言模型（LLM）自动设计与用户提供的文本描述相符的工作流程，从而提高图像产生的品质。该系统克服了传统单一模型在创造图像时的一些局限性，并通过整合多种专业组件如调整后的基础模型、LoRAs、嵌入元素和超分辨率步骤等来建立复杂的工作流程。ComfyGen提出了两种利用LLM的技术方案：一种是依据用户偏好数据进行优化的策略，另一种则是无需额外训练就能直接选取现有工作流的方法。这两种方法均表现出相较于传统图像生成模型或通用工作流更优的图像质量。

ComfyGen的核心特性

• 自动调整的工作流程创建依据用户提供的文字指引，自动生成最为匹配的图片制作流程。
• 多个部件协作工作通过整合微调的基础模型、LoRA技术、嵌入方法以及超分辨率处理等多元的专业元素来设计复杂的操作流程。
• 提高品质通过改进工作流程来提升生成图片的品质，使其更加贴合用户的文字描述。
• 自动化的工序规划降低构建高效工作流所需的专门技能要求，自动化的流程可以根据各种文字指引自行调整。
• 集成LLM预测模型利用大型语言模型(LLM)来预测并挑选出与文字提示最为契合的图片创作过程。

Comfortable Generation技术的工作机制

• 数据采集及训练样本集合的建立研究团队汇集了一套由人设计的ComfyUI流程，并通过随机调整这些流程中的参数（比如基础模型、LoRAs以及采样方法等）来丰富他们的数据库。他们利用一系列文本描述生成图像，然后依据美学标准和对人类偏好的预测结果给这些图像打分，从而构建了一个包含文本提示、工作流信息及评分的三元组数据集。
• 模型预报：ComfyGen利用大型语言模型来预测与给定文本提示相匹配的最佳工作流程，采用了两种不同的技术手段。
  • 情境相关技术（EaseGen-IC）向大型语言模型展示一张列有工作流程及其各类别评分的表格，并需根据这张表为其新给出的文字指令挑选出最匹配的工作流程。
  • 细调技术（ComfortableGeneration-FineTune）对大型语言模型进行微调，以根据提供的文本提示及预定的评分标准，预估能够达到该评分的具体工作流程。
• 创建作业流程于推理环节中，ComfyGen利用一段文字提示及一较高分值作为其输入数据，随后由LLM推算得出符合设定条件的工作流程方案。
• 图片创建及评价通过工作流的预测来创建图片，并依据人类的喜好与图片品质评价标准对产生的图片进行评判。

Comfortable Generation项目的网址

• 官方网站项目版块：一个名为comfygen-paper的GitHub页面
• 关于arXiv的技术文章该论文的链接指向了一篇在ArXiv平台上发布的学术文章，具体内容未直接给出。通常情况下，对于特定文献进行伪原创性重述需要先了解其内容概要与核心观点，但基于提供的信息（仅包含文档链接），无法完成这一任务而不违反版权政策或引源规则。如需对某篇具体论文的内容进行改写，请提供该文摘要或其他公开可引用的信息段落。

ComfyGen的使用场合

• 创意艺术作品创作者们利用ComfyGen工具来快速制作符合特定艺术风格与主题的画面，这不仅加快了他们的创意流程，还让他们能够深入挖掘新颖的视觉理念。
• 制作电子游戏游戏创作者利用ComfyGen高效创建游戏中所需的场景背景、角色设计图及其他元素，显著提升了制作速度。
• 宣传与推广营销小组利用ComfyGen创建广告图片及宣传物料，以保证它们与推广文字和品牌形象保持一致。
• 影视与休闲产业在影片筹备阶段及视效构思过程中，导演与视效艺术家们利用ComfyGen生成场景草图和特殊视觉元素，以支持前期策划工作和视觉效果的创作。
• 学习与探索教育人员及科研学者运用ComfyGen来创作教学资料里的插画，并在执行科学可视化任务时制作出精准的图像。