清华与智谱AI联手打造的高解析度图像生成器——Inf-DiT

Inf-DiT指的是什么？

清华大学与智谱AI联合研发了基于扩散模型的图像上采样技术——Inf-DiT，该方法能够创造出极高分辨率的图像。通过采用单向块注意力机制（UniBA），Inf-DiT将生成过程中的空间复杂度从 O(N^2) 优化至 O(N)，显著缓解了传统扩散模型在处理大尺寸图片时面临的内存消耗过大的难题。此技术采用了扩散变换器（DiT）结构，具备适应不同形状和分辨率图像上采样的能力。为了增强所生成图像的局部与全局一致性，Inf-DiT还运用了全球图像嵌入以及对邻近低分辨率块进行交叉注意力处理的技术手段，从而进一步提高了输出图片的质量及一致度。实验数据证实，在超高分辨率图像生成及其超分任务方面，Inf-DiT的表现达到了当前最先进的水平（SOTA）。

Inf-DiT的核心特性

• 生成极高清晰度的图像创建具有极高清度的图片，克服了常规扩散方法在生产高质量影像时遇到的记忆体瓶颈问题。这项技术特别适合那些对细腻细节与多样纹理有高要求的应用场景，如精密的设计图稿、商业广告宣传、精美海报以及桌面背景等实际用途中使用。
• 可变的图像放大技术针对多种尺寸与清晰度的图片放大工作，它提供了一流的技术支持来满足各类提高图像品质的需求。
• 提升局部与整体的一致性通过开发包括全局图片编码及利用相邻低清区域间交互注意效应在内的多种技术手段，显著提升了合成影像在微观与宏观层面的一致性，保证了从细微之处到总体构架都能达到预设标准的图像生成效果。
• 零样本文本操控技能拥有零样本文字指引功能，依据提供的文字线索来指导和修改产生的图片内容，提升所创图像的变化丰富度及可操控程度。

Inf-DiT的核心技术机制

• 单一方向区块注意机制（SingleDirectionBlockAttention, SDBA）把图片划分为若干个区域，在每次扩散处理时依次批量创造这些区域的内容。每一批次会同步创建部分区域，并且可以根据可用内存并行处理任意数量的区域。这种做法使得生成过程的空间复杂度从 O(N^2) 降低至 O(N)，显著减少了内存使用量，同时提升了可生成的最大图像分辨率。
• 扩展转换器（DiT）架构Inf-DiT 采用扩散变换器构架为基底，并利用视觉变压器(Vision Transformer, ViT)的优点，主要通过注意力机制来处理图像区块间的互动关系，这有助于实施定向的区块间注意策略，从而增强模型的表现力及其拓展能力。
• 整体图片嵌入为了提升生成图片的整体语义连贯性，Inf-DiT 利用预先训练好的 CLIP 模型来获取低分辨率图像的总体特征表示，并将这些特征融入到扩散变换器的时间编码里，从而使模型能够更直接地利用高层次的语义信息进行学习。
• 相邻低清区块间的交叉关注机制在创造高清晰度图片的过程中，为了降低生成断续图像的可能性，Inf-DiT 在变换器模型的第一层中加入了与相邻的低解析度区域之间的交叉关注机制。这一设计使每个单元能够对周围的 3×3 区域执行交叉注意力处理，从而更有效地吸收邻近低分辨率的信息，并提升局部的一致性。

Inf-DiT的项目位置

• Git代码库：在GitHub上可以找到由清华大学开发的Inf-DiT项目，其地址为https://github.com/THUDM/Inf-DiT。
• arXiv科技文章在该链接中可找到一篇学术论文的PDF版本，其网址为：https://arxiv.org/pdf/2405.04312，这份资料提供了深入的研究内容。

Inf-DiT的使用场合

• 创新及设计理念领域制作出精细清晰的建筑设计渲染图，详尽展现构造细节与总体规划结构，助力用户及设计者深入把握计划构思。
• 休闲及传媒行业提高影片图像的解析度与细腻程度，优化视效体验，适应多样化的播放平台要求。
• 印制及发行领域把书籍中的插画与封面对应的低清图片转换为适用于打印的高清版本，以保障印刷的效果。
• 科学技术和学术探究领域提升医学图像的清晰度，助力医师更加精准地判断与解析病况。