DistriFusion – 分布式高分辨率扩散模型并行推理平台

114 0 0

DistriFusion指的是什么

DistriFusion是一款专用于高分辨率扩散模型的分布式并行推断框架，它在多GPU环境下大幅提升了生成高质量图像的速度。通过采用patch平行技术将图片分解，并分配到各个处理单元上独立运算，该系统无需重新训练就能使推理效率提高至原来的六倍左右，且不影响最终输出的图像品质。这项技术创新为人工智能内容创作及并行计算领域的研究设立了新的标准。

DistriFusion的核心特性

分散式平行推断利用多块GPU同步运行扩散模型的推断任务，从而加速图片创作的过程。
图片划分把高清图片划分为若干个小区域（patches），对每一小区域分别进行处理，从而达到并行计算的效果。
不必进行额外的培训作为一款不需要经过训练的算法，DistriFusion能够直接集成到已有的扩散模型中，例如Stable Diffusion XL。
维持图片清晰度在加快图片创建速度的过程中，运用改进的技术确保所生成图片的质量依然上乘。
非同步交流提供异步数据传输功能，降低了由通信消耗引起的延时。

DistriFusion的核心技术机制

Fragment Concurrency（片段并发）DistriFusion把输入的图片划分成若干个片段，在这种设置下，各个片段能够分别在各自的GPU上同步处理，实现了操作的并行性。
非同步交流于并行处理中，DistriFusion运用了非同步通讯方式，允许数据跨GPU传输时不必暂停计算任务，进而降低了延迟提升了整体效能。
借助扩散进程的依次特性DistriFusion注意到在扩散模型里连续步骤间的输入非常相近，从而设计了一种技术方案，利用上一时间步的特征图来增强当前步的信息背景。
平行处理偏移块(Offset Block Parallelization)利用各时间点上微调补丁的位置移动来体现补丁间的互动关系，从而避免了直接的整体通讯需求。
计算的流水线处理DistriFusion的架构支持计算流程的流水线操作，使得各个GPU能够在不同时段的时间步长中并行作业，从而显著增强了系统的处理效率。
不必降低图片清晰度DistriFusion显著提升了图像生产的速度，并借助精密规划的算法维持了产出图片的高水准。
适合各种扩散方法DistriFusion的应用并不局限于某一特定的扩散模型，它可以兼容并优化多个当前可用的扩散模型，例如Stable Diffusion XL，从而达到提速的效果。