新加坡国立大学发布LinFusion – 单个GPU实现一分钟内创建16K分辨率的图片生成模型

林融合是什么

LinFusion 是由新加坡国立大学的一个研究团队研发的一款创新型图像生成功能模型，该模型采用线性注意力机制来处理高分辨率图片的创建任务。这一方法确保了在面对大量像素时计算复杂度维持在线性水平，从而极大地提升了其生成效率。现有的预训练模块如 ControlNet 和 IP-Adapter 与 LinFusion 高度兼容，能够支持无需样本即可实现跨不同分辨率级别的图像生成，并且能够在未曾遇到的分辨率下创建图片。LinFusion 能够在单一GPU上完成最高达16K 分辨率图像的创作工作，为包括艺术创意、游戏开发及虚拟现实等多个领域提供了强大的视觉内容创造能力。

林融合的核心特性

• 从文字转换为图片生成依据用户给出的文本说明，创建对应的高清晰度图片。
• 支持高清显示专门调整以创造高清晰度的图片，涵盖那些在培训阶段未曾出现过的分辨率。
• 直线型难度运用线性注意力机制，让模型在处理海量像素数据时更加高效，并减少资源的使用。
• 多分辨率创建于各种分辨率下创建图像，涵盖训练过程中未曾接触过的分辨率。
• 与预先训练的模块相容此产品能够无缝对接已预先培训好的 Stable Diffusion 模块（例如 ControlNet 和 IP-Adapter），并且不需要进行任何附加的学习过程就能投入使用。

LinFusion的核心技术机制

• 直线型注意模型LinFusion 利用创新的线性注意机制，区别于传统Transformer模型中具有二次复杂度的自我关注方式。这种线性注意方法确保了当处理大规模图像数据时，其计算需求按像素数目呈直线增长，大幅减少了对计算资源的要求。
• 广泛的线性关注机制LinFusion 拓展了现有的线性复杂度标签混合技术，比如 Mamba、Mamba2 及 Gated Linear Attention，并采用了一种更广泛的线性注意模式。这种广义的线性注意力机制具备归一化感知能力和非因果操作功能，旨在满足高分辨率视觉生成的要求。
• 标准化感知采用标准化关注方法的注意机制，保证了各个 token 的注意权重总和为 1，因此能够在各种尺寸的图像上维持稳定的效能。
• 无因果关系在线性注意机制的非因果变体中，模型能够在生成时同步利用全部噪音空间标签信息，与传统RNN需依次处理标签的方式不同。这使得模型能够更有效地识别和理解图像的空间布局特征。

LinFusion项目的仓库位置

• 官方网站项目的入口https://github.com/lv-linfusion
• Git存储库：在GitHub上可以找到一个名为Huage001的用户所维护的一个项目叫做LinFusion，其链接如下所示。
• arXiv科技文章在学术资源共享平台ArXiv上，有一篇研究论文可以找到，其文献链接为：2409.02097。

林融软件的使用场合

• 创意艺术作品借助 LinFusion，创作者们能够依据文字叙述高效地制作出高清艺术佳作，显著加快了他们的创作节奏。
• 开发电子游戏在游戏中设计环节里，迅速创建游戏背景、人物形象或是概念图稿，以提升美术创作的工作效能。
• 虚拟实境（VR）与扩增实境（AR）在制作虚拟现实或增强现实内容时，LinFusion 能够创造出身临其境的背景图景与环境，从而显著改善用户的体验感受。
• 影片与视像创作影视创作者利用 LinFusion 创造影片内的场景构思图和特殊效果背景，从而缩短了前期筹备的工作时间。
• 宣传与推广市场营销小组利用LinFusion高效创建出引人注目的广告图片与社交平台动态，从而增强了推广材料的吸引力。