苹果发布新的开放源代码扩散模型框架：MDM

MDM代表的是什么？

苹果公司研究人员开发了一种名为Matryoshka Diffusion Models（MDM）的新框架，专注于解决生成高清晰度图像和视频时遇到的技术难题与优化问题。该模型通过在不同分辨率层级同时执行去噪操作，并使用嵌套的UNet结构实现这一点，在这个结构中较小规模的网络被集成到更大规模的网络内，以促进特征共享并支持从低至高的渐进式训练方法。这种设计显著提升了生成高清晰度内容时的优化效率，并在各种评估测试中表现出色，特别是在ImageNet数据集上的类别导向图像创建以及高质量文本转图像和视频转换任务上尤为突出。MDM能够处理高达1024×1024像素级别的单个像素空间模型训练，在有限的数据集上也展示了优秀的零样本泛化能力。

MDM的核心作用

• 结合多种分辨率的协同扩散过程MDM具备处理多种分辨率输入的能力，并允许模型在不同的尺寸范围内学习与生成内容，从而增强其产出的质量与效率。
• 特性和属性的分层结构在MDM的NestedUNet结构里，较小尺寸输入的特点与参数被整合进较大尺寸的输入内，这促进了各解析度之间的信息交流，并实现了计算资源的有效运用。
• 逐步培训MDM采用了一种逐步提升分辨率的训练方法，由较低分辨率逐渐过渡至较高分辨率，这种策略能够有效改善模型培训流程，并减轻因直接使用高分辨率数据而导致的计算压力。
• 高品质图像合成MDM具备生产分辨率为1024×1024像素的图像的能力，并能够维持其生成质量与处理效率。
• 无样本推广在处理规模较小的数据集时，MDM显示出了优秀的零样本推广技能，能够创造出未曾在训练中出现过的类别的图像。

MDM的核心技术原理

• 多种分辨率下的扩散程序MDM通过在同一时间对多种分辨率的输入进行协同降噪，使模型能够高效地管理各种尺寸的图像信息，从而增强输出的质量与生产效率。
• 多层次UNet结构（Hierarchical UNet）MDM采用了一种独特的UNet结构，在这种结构下，较小尺寸的特点与参数被整合进较大尺寸的参数框架内，从而有效促进了跨多种解析度的信息交流与利用。
• 逐步训练方法通过从较低的图像清晰度起步，并逐渐过渡至更高的清晰度进行模型训练，可以有效减少初始阶段因处理超高清晰度数据而导致的巨大运算负担，从而加速整个培训流程的速度。
• 多种分辨率下的损失函数MDM 创造了一种损失函数，能够兼顾处理多种分辨率下的图片信息，这有利于增强高清晰度图像的产出品质。
• 结合多种分辨率进行训练在培训期间，MDM允许在同一组批量处理中同步培训具有多种分辨率的样本，这极大地增强了培训过程中的适应性和效能。

MDM项目的仓库位置

• MDM计划的官方在线平台访问链接以获取关于嵌套扩散模型的研究信息：https://machinelearning.apple.com/research/nested-diffusion-models
• Git代码库：可在GitHub上的apple账户下找到名为ml-mdm的机器学习相关仓库，网址为https://github.com/apple/ml-mdm
• 关于arXiv上的科技学术文章在学术论文数据库中可以找到这篇文档的链接，具体位置是 https://arxiv.org/pdf/2310.15111。

MDM的使用场合

• 电子美术制作创作者与设计者运用MDM技术来打造富含个性特征及精妙细节的数码艺术品。
• 制作电子游戏在游戏中制作阶段，MDM能够迅速创建出高质量的图片，涵盖场景背景、人物及道具等元素。
• 影视与动漫创作MDM在电影及动画的制作中创造高质量的场景与特殊效果，从而提升生产效率。
• 营销宣传与品牌形象的内容市场营销专员运用MDM策划广告图片及品牌形象素材，以捕获潜在客户的注意。
• 教学资源教师利用MDM制作教学图形与动态影像，使得学习资源更为鲜活有趣。