上海交大与腾讯合作开发的预训练扩散模型调整技术——SaRA

SaRA指的是什么？

SaRA代表了一种创新的预训练扩散模型微调技术，该技术由上海交通大学与腾讯优图实验室联合开发。它通过重新激活那些在初步预训练阶段看似不起作用的参数来使模型更好地适应新的任务需求。基于低秩稀疏核范数优化方案以减少过拟合现象，并采用了逐步调整参数的方法来改进模型的表现力。SaRA不仅提升了模型的任务适应性和泛化能力，还大幅减少了计算资源的需求，且实现方式极其简便，只需修改单行代码即可应用此方法，显示出其显著的应用价值。

SaRA的核心能力

• 参数的再利用利用预训练过程中尚未充分发挥的参数，为模型增添新的功能。
• 避免模型过度拟合采用核范数下的低秩稀疏训练方法，以减轻模型在微调阶段的过拟合问题。
• 逐步优化参数设置在微调的整个阶段中持续评估与挑选参数，以保证能够充分运用所有的潜在有效参数。
• 逆向传输非格式化数据在减少微调过程中内存开支的同时，增强对参数空间的筛选能力。
• 增强模型的效能维持预训练模型已有的知识库，并提升其在核心任务中的性能。

SaRA的核心技术机制

• 对参数的关键性进行评估在评估预训练模型的参数时，辨别那些对生成过程影响力较小的参数。
• 稀疏低秩训练通过对参数实施低秩限制，并通过优化稀疏的权重矩阵来获取特定任务的知识，从而提升调整过程的效率并降低过拟合的风险。
• 逐步优化参数的方法制定一个方案，在整个精细调节期间灵活变更设置值，以保证充分运用所有可能的高效参数。
• 逆向传输非有序形式通过采用独特的逆向传输方法，降低微调阶段的内存使用量，并提升模型在特定任务上的适用能力。
• 模型的相容性SaRA技术能够无缝对接当前的预训练模型，在做轻微的代码调整后即可完成适应性优化，并且非常便于嵌入至已有的体系之中。

SaRA 的工程项目网址

• 官方网站PROJECT：可在GitHub页面Sjtuplayer的项目中找到SaRA相关信息，网址为https://sjtuplayer.github.io/projects/SaRA
• Git存储库：访问该仓库以获取更多信息 – https://github.com/sjtuplayer/SaRA
• 关于技术的arXiv学术文章在arXiv的文档库中可以找到编号为2409.06633的研究论文。

SaRA的使用场合

• 图片样式转换借助SaRA工具对模型参数进行微调，能够把常规图片转化为具备独特艺术效果的画面，例如油画或者素描样式，并且确保原图的内容与布局不发生变化。
• 图片个性化设置在诸如Dreambooth的应用场景里，SaRA被用于精调UNet模型，以达成针对具体物件或艺术风格的图片个性化处理，例如创造带有独特属性的画面。
• 制作视频SaRA被应用于对视频生成模型（例如AnimateDiff）进行精细调整，在涵盖多种相机动作（包括但不限于放大和移动场景）的数据集基础上优化，以创造具备独特动态视觉效果的影片内容。
• 对下游的数据集合进行精细调整SaRA通过在多种下游数据集上的微调来适应各类特定领域的任务，例如，在多样化风格的数据集上调整后，能够根据文字提示生成相应的图像。
• 图片创作作业SaRA旨在增强预训练模型于图像生成作业中的效能，通过对初始非有效参数进行改进，进而优化其主要任务的表现。