BiGR —— 一种提升生成图像质量和表现力的统一条件生成模型架构

BiGR代表的是什么？

BiGR是一款创新性的条件图像生成模型，通过采用紧凑型二进制潜在编码来进行培训以提升其生成图像的质量与表现力。作为首个在同一架构下同时整合了生成和鉴别功能的模型，BiGR不仅能够保持高水平的图像质量，还能够在视觉任务如生成、识别及编辑等方面表现出色。该模型的设计采用了掩码标记预测技术以及二进制编码转换机制，并通过加权二进制交叉熵损失函数训练以恢复掩码标签信息。BiGR因其出色的灵活性和扩展性，在多种视觉应用场景中均能展现出色性能，且无需为特定任务调整其结构或进行参数微调。

BiGR的核心作用

• 图片创作BiGR具备创建高品质和高清晰度图片的能力，并且能够实现由低清至高清的图像转换。
• 视觉识别该模型具备卓越的图像类别辨识功能，并能够高效地抽取关键特性，对于执行图像识别与分类作业非常有益。
• 图片处理涵盖修复受损图片（inpainting）、延伸图片场景（outpainting）以及依据特定类别调整图片细节。
• 零实例推广BiGR具备在无需针对具体视觉任务调整架构或精细调节参数的能力，可实现诸如图像插值与增强等多样化视觉操作的零样本执行。

BiGR方法的工作机制

• 二进制词语分割器把图片转化为一串二进制编码，这串编码代表了该图片的一种压缩形态。
• 遮罩建模方法在培训期间，某些二进制编码会被隐藏起来，此时模型的任务是学会依据可见的编码来推测那些被隐藏的部分。
• 二进制编码转换工具把连续特性的数据转化为遵循伯努利分布的二值编码，并应用于图片创建过程。
• 熵值取样技术在图片创造的过程中，依据预测出的伯努利分布概率熵值来确定解除遮罩标签的次序，以此提升生成的效果和速度。
• 均值池化在视觉识别任务中，通过在模型的中间层级使用平均池化技术来获得图像的整体特征表示。
• 带权重的二进制交叉熵代价函数（wBCE）应用于模型训练中，恢复被遮蔽的元素，并提升生成与判别任务的表现。