港大研发的LongAlign —— 优化长文本与图像扩散模型对齐的技术

LongAlign指的是什么？

LongAlign是由香港大学的一个研究小组开发的一种改进的文本到图像（T2I）扩散模型方法，专门用于增强处理较长文本输入时的对齐准确性。该技术采用段落级编码策略，将长篇文字进行分割以适应编码器的输入规格限制。此外，它还采用了偏好分解优化手段，通过识别和区分文本中的相关与不相关信息，并分别赋予不同的权重来减轻过拟合现象并提高对齐效果。在经过20小时微调后，LongAlign显著提升了Stable Diffusion v1.5模型处理长文本文本到图像生成任务的表现水平，在这方面超越了包括PixArt-α和Kandinsky v2.2在内的多个先进模型的性能表现。

LongAlign的核心作用

• 处理大量文本信息采用分层编码技术来处理较长的文本数据，解决了包括CLIP在内的预训练编码器面临的最大输入长度约束问题。
• 文本与图像的对应关系增强生成图片与所提供文字的一致性，保证图片细节准确反映文字说明的内容。
• 降低过度拟合通过采用偏好分解与重新加权的方法，LongAlign有效降低了微调阶段的过拟合现象，进而增强了模型的泛化性能。

LongAlign的核心技术机制

• 分级编码把较长的文字内容拆分成若干个部分（可以是段落或者句子），使得每一部分都能单独进行编排，然后把这些经过编排的部分整合起来。这样的方法能够让系统有效地管理那些超过其最长接收范围的内容。
• 喜好分析解析偏好的评价体系时，我们将偏好得分细分为两个组成部分：一是与内容相关的分数段，用于考察文字描述与图片的一致性；二是不依赖于内容的部分，则着重考量图像本身的视觉特性，例如美感等要素。
• 重新分配策略为了应对过拟合的问题，LongAlign设计了一种能够给相关内容与非相关内容赋予不同重要性分数的方法。这种方法的核心在于降低不相关文本的重要性，并加强对实际内容的理解和聚焦程度，以此来提升整体的匹配效果。

LongAlign项目的仓库位置

• Git存储库：可在GitHub上找到luping-liu创建的LongAlign项目页面。
• 关于技术的arXiv学术文章访问该链接可以获得一篇研究论文的PDF版本：https://arxiv.org/pdf/2410.11817，此文档包含了最新的学术研究成果。

LongAlign的使用情境

• 创意艺术作品创作者们通过精心设计来制作符合其详尽说明的图片，从而在数字艺术领域达成更为精准的画面呈现。
• 视频游戏制作在游戏中，协助生成与故事情节或特定场景描写一致的视觉图像及概念艺术作品。
• 影视与休闲产业影视创作者及娱乐领域的专业人士会创建符合剧本或故事版叙述的图像，主要用于前期规划或是视效设计工作。
• 宣传与推广广告机构创作出与广告语及市场推广计划描述相符的图片，以增强宣传内容的视觉效果。
• 教育培训于教育行业之中，创造能够与教材或课程说明完美契合的视觉元素，以丰富和提升学生的学识获取感受。