HiCo —— 由360人工智能研究所开发的可控制布局的人工智能绘图模型

HiCo代表的是什么？

360 AI研究院开发了基于扩散模型的层次化可控布局到图像转换系统——HiCo。该系统采用多分支结构设计，能够精准控制对象的位置和文本描述细节。其核心优势在于实现空间解耦技术，这显著提高了处理复杂场景布局的能力，并减少了物体遗漏及视角矛盾等问题的发生率。在自然环境中的多元目标精确布置生成方面，HiCo表现卓越，并提出了HiCo-7K这一新的基准测试集。此外，该模型还展示了与多种快速图像生成插件（例如LoRA、LCM）的兼容性，支持高分辨率图像的创建，在应对多概念布局组合上仍有进一步优化的空间。

HiCo的核心特性

• 分层布局管理HiCo利用分层架构来构建布局模型，能够精准调控背景、前景以及它们之间的空间关联。
• 可控制的对象生成该模型依据物体的文字说明及其在空间中的定位信息自主创建每一个物件，以保障所生成图片的精确度与协调性。
• 整合多种分支架构采用多个分支网络分别对各个区域进行独立处理，并通过集成模块（Merge Module）结合这些特征，以创建具有复杂结构的图像。
• 迅速创建相容插件HiCo能够与诸如LoRA和LCM这样的快速生成插件协同工作，从而加快图像的创建速度，并且确保输出的质量不受影响。
• HiCo-7K性能评估采用HiCo-7K作为评测数据集，来考察模型在实现多个目标的可控制图布局生成上的表现能力。
• 具备弹性伸缩能力该模型能够兼容多种插件并允许参数调节，以满足各种生成任务的需求，包括定制化内容创作和多语种操控。

HiCo的运作机制

• 分层构建模型HiCo采用分层结构来构建输入布局信息的模型，从而把握从粗略到细致的各种空间布置特征。
• 具备分离特性的条件分支结构各个分支分别负责处理并创建指定区域的画面，依据物体的文字说明及其所在的空间坐标来形成图像。
• 传播模型通过利用扩散模型，并借助迭代去噪步骤从含有噪音的数据中重构清晰图像，同时采用条件控制生成流程的方向。
• 集成组件（Integrate Module）通过运用掩码技术，可以区分并隔离出前景区与背景区的不同元素，并在整合时确保它们的各自独特性得以保留。
• 低秩适配（Low-Rank Adaptation, LoRA）支持LoRA技术，能够迅速调整以应对新的任务或样式要求，不必重新对整个模型进行全面训练。
• 迅速的推理技能构建高效的推理系统，比如采用类似HiCo-LCM（闪电版）与HiCo-Flash的技术方案，通过运用平行计算及改进的架构来提速图片创作过程。

HiCo项目的网址如下

• 官方网站ของโครงการhttps://github.com/360cvgroup/HiCo_T2I
• Git存储库：https://github.com/360CVGroup/HiCo_T2I（计划不久后开放源代码）
• arXiv科技文章访问该链接可以获得最新的学术论文副本: https://arxiv.org/pdf/2410.14324

HiCo的使用情境

• 图片处理与融合于图片处理领域内，依据文字说明及定位数据精准增加、调整或删除图内元素的操作，非常适合那些要求对视觉排布有高度操控需求的情况。
• 娱乐与嬉戏于游戏开发及影视特技创造领域内，构建细致的场景构架，涵盖人物、物件与环境组件，以期增强创意产出速率与观感体验。
• 仿真环境（VE）与扩增实境（XR）在运用VR和AR技术时，创建满足特定设计需求的虚拟场景，以增强用户的沉浸式感受。
• 创意宣传策划依据广告创新理念与页面规划需求迅速创作出引人注目的宣传图片，从而增强广告制作的工作效率及效果品质。
• 数据扩增于机器学习与计算机视觉项目之中，创建用于培训的数据集，尤其是当这些数据需具备特殊构图或环境背景时，能够提升算法对各类情况的适应力。