HART – MIT开发的自回归视觉创造模型

HART代表什么

HART（Hybrid Autoregressive Transformer）是麻省理工学院的研究小组开发的一种自回归视觉生成技术，能够直接产出分辨率为1024×1024像素的高质量图像，其成像质量可与扩散模型相媲美。该系统采用混合Tokenizer方法，把自动编码器中的连续潜在表示分解为离散token和持续token两部分：前者用于捕捉图形的主要框架结构；后者则专注于细节描绘。HART配备了一个参数量仅为3700万的轻型残差扩散模块，大大增强了其计算效率。在使用MJHQ-30K数据集进行测试时，与先前的方法相比，HART显著改善了重构FID值（从2.11下降至0.30），并使生成FID指标由7.85降至5.38，整体提升约31%。此外，在处理吞吐量方面超越现有扩散模型4.5到7.7倍的同时，还实现了MAC数量减少了6.9到13.4倍的显著成果。

HART技术的核心作用

• 创建高质量的图片解析度生成分辨率为1024×1024像素的高品质图片，以符合对优质视觉材料的要求。
• 改善图片清晰度借助混合Tokenizer方法，HART显著提升了其在图像重构及生成品质方面的表现，达到了可与扩散模型比肩的水平，并优于常规的自回归模型。
• 提升计算性能：大幅提升了计算效率并维持了高水平的图像质量，同时减少了训练开支和推理时的延时。
• 自回归模型构建利用自回归技术，实现图像的逐层构建，并能够对创作流程实施更为精确的调控。

HART技术的工作原理

• 复合Token化器HART的关键在于其混合Token化机制，该机制将自动编码器中的连续潜在表达拆解成离散令牌与持续性令牌两部分。其中，离散令牌主要用来把握图像的基本构造框架，而持续性令牌则侧重于精细化的特征表现。
• 分散型自回归结构离散组件通过一个具备调整分辨率能力的自回归模型进行构建，使得该模型能够在多种不同的分辨率设置中创建图像。
• 简约型剩余扩散组件连续的部分通过一个仅有3700万参数的精简型残差扩散单元来学习，这有利于增强模型的工作效率。
• 效能与表现的均衡HART相较于当前的扩散模型，在FID和CLIP评分方面表现更优，并且其处理速度提升了4.5到7.7倍，计算复杂度降低了6.9至13.4倍，从而实现了高效的性能与良好的效果之间的均衡。
• 自动回溯创造HART运用了自回归技术来逐级构建图像，在这一过程中每一阶段的结果都会作为下一轮输入的基础，使得该模型能够随着生成过程不断精炼和丰富图像中的细节。

HART项目的网址位置

• 官方网站项目：访问位于mit.edu的hanlab项目下的hart部分
• Git存储库访问该仓库以探索由MIT Han Lab开发的HART项目: https://github.com/mit-han-lab/hart
• arXiv科技文章在学术论文数据库中可以找到这份研究文档，其在线链接为：https://arxiv.org/pdf/2410.10812，该文献提供了深入的技术分析和研究成果。
• 网上试用演示版本：访问麻省理工学院媒体实验室的哈特网络资源库，请浏览 https://hart.media.mit.edu/ 页面。请注意，URL已根据常见的机构结构调整进行了更新，以指向相关的学术资源中心。

HART技术的使用情境

• 电子美术制作创作者与设计者打造高水准的数码艺术品，涵盖插画、创意构想及视效特技。
• 制作电子游戏在游戏中创作高质量的角色、场景及物品图片作为游戏资源。
• 影视与录像创作用于制作电影宣传图、创意视觉设计或充当视频素材的背景及特殊效果。
• 宣传与推广市场营销小组迅速创作出引人注目的广告图片及宣传资料。
• 社交网络信息用户在社交媒体平台上创作定制化的图片与视觉素材。