阿里通义发布的依托于DiTs技术的上下文LoRA图像创建架构

In-Context LoRA指的是什么？

In-Context LoRA是由阿里巴巴通义实验室开发的一种基于扩散变换器（DiTs）的技术框架，旨在通过利用模型内部上下文学习的能力来优化其对激活状态下的上下文适应性调整。该方法不需改动原有的模型结构，仅通过对训练数据的微调就能灵活应对各种图像生成任务，并且简化了培训流程同时降低了对外部大量标注资料的需求，同时还能够维持高水平的质量输出。在实际应用中，In-Context LoRA展现了强大的性能表现，不仅能生产出与提示高度契合的一致性图像集合，而且还支持基于条件的图像创作需求。

In-Context LoRA的核心特性

• 多种任务的图片创造能够适用于包括故事情节图示创作、文字风格创意以及室内装潢在内的多样化图像生产工作，并且不必为每一项具体的工作单独培训专用的模型。
• 理解前后文的能力通过利用现有的文本转图像模型内置的上下文学习功能，实现对小型数据集进行高效的微调、激发及性能提升。
• 与任务无关联性针对数据处理方面具有特定任务的要求，而在结构与程序设计上则维持对各种任务的通用性，使该框架具备广泛的适用性。
• 生成图片集合可以创建一组具备特定内部联系且受条件限制或由文字描述引导的图片集合。
• 基于条件的图像创造利用SDEdit技术可以实现对已有图片集合的有条件生成，并且能够提供免费的图像填充服务。

关于In-Context LoRA的运作机制

• 传播转换器(DiTs)利用模仿扩散进程逐渐构造图像的模型——扩散变换器(DiTs)，专门应用于图片创作领域。
• 情境文本创作技能此项技术基于一个前提，即文本转图像的DiTs模型本身拥有处理上下文的能力，并能够解读和创造一组含有复杂内部关联性的图像集合。
• 图片链接与链接注意力单元不同，In-Context LoRA采用了一种方法，即将一系列图片整合为一幅大型综合图来进行训练过程，这一策略类似DiTs中的单元链接方式。
• 合并说明整合各个图片的指引（prompts）创建一条延长的指引，使模型能够同步处理并产出多幅图像。
• 基于小型数据集的LoRA微调通过运用规模在20至100样本间的小型数据集对Low-Rank Adaptation（LoRA）实施调优，以激发并提升模型的语境性能。
• 针对具体任务的调校In-Context LoRA 的结构与工作流程设计为任务无关，因此无需调整基础模型框架即可适用于各种不同的任务。

In-Context LoRA项目的网址

• 官方网站项目https://github.ali/vilab/In-Context-LoRA-Doc
• Git存储库访问此链接以获取相关信息：https://github.com/ali-vilab/In-Context-LoRA
• arXiv科技文章本文讨论的研究成果可以在如下链接中找到: https://arxiv.org/pdf/2410.23775，该研究提供了深入的分析和新颖的观点。

应用场景示例：在上下文相关的LoRA技术中

• 故事情节设计应用于电影创作、广告宣传及动画制作领域，能够迅速创建多幅场景画面，展现剧情的演变过程。
• 文字造型设计创建并定制符合特定风格与主题的字体，适用于品牌形象、宣传海报及邀约信件等多种场景。
• 室内装点创建展示家居装修风格的视觉效果图，辅助设计人员及用户提前查看诸如墙壁色彩与家具排列等的设计呈现。
• 人物绘画把个人的照片转变为具有艺术特色的插画，适用于制作个性化的肖像、社交平台的头像或是作为艺术品展示。
• 人物摄影创作具备独特风格与背景的人物肖像图片，适用于时尚期刊、商业宣传或是个性化艺术品。