即时ID —— 精确的定制化图片生成架构

即时身份（Identity）是一种利用扩散模型进行图片创作的技术，特别强调实现无需预先训练（zero-shot）的身份保持的个人化图象合成。这项技术让用户只需提供一张脸部照片就能生成多种风格的个性化影像，并且保证高度的真实感，其效果与PhotoMaker产生的图像相似。即时身份的设计目的在于克服当前个性化图像合成为实际应用带来的挑战，如巨大的存储需求、耗时的微调过程以及对多张参照图片的需求。

项目展示页面：https://instantid.github.io/

文章链接：https://arxiv.org/abs/2401.07519

代码仓库地址：https://github.com/InstantID/InstantID

InstantID的主要特点

• 定制化图片融合用户能够利用一张脸部图片创造多种姿态或风格的独特影像，同时确保高度的真实性。
• 个人标识维持不变当创建新的图像时，InstantID可以精准地维持源图片中的人物面部特性，包括表情、年龄段和个人标识等方面不变。
• 转换表述形式通过使用InstantID，能够把个人的脸部特点应用至各种艺术形态和环境里，比如可以把具有真实感的人脸特性融合进动画式的画面当中。
• 全新角度整合借助InstantID技术，能够创建出人物在其他角度下的新图像表现形式，即便这类视图在初始图片中并不存在。
• 身份内插：利用InstantID技术可以顺利完成各种人物特质间的无缝转换，比如对两名截然不同的个体实施脸部特性之间的渐变处理。
• 多种身份融合在复杂的情境下，InstantID能够同步管理多位人物，并创建出含有数个角色的画面。
• 支持预先训练的模型：InstantID能够无间断地融入诸如SD1.5及SDXL等广受认可的预先训练好的文本转图像生成系统内，且无需进行进一步的调整或微调。

快速识别系统是如何运作的

InstantID由三大核心组件构成：身份嵌入、图片调整器以及识别网络。

1. 标识符嵌入InstantID 利用预先训练好的脸部模型从参照人脸图片中获取包含丰富语义数据（比如个人特征、年龄段及性别）的身份编码，确保了在生成的图像里能够精确保留面部的各种细节。
2. 图片调整器InstantID 集成了一种简洁的图像适配模块，此模块通过采用分离式的交叉注意机制实现了对图像作为一种视觉线索的支持。这一设计允许将示例图片用作额外的信息来源，同时不干扰到模型中的其它设置参数。
3. 身份识别网络一款特别构建的网络架构，旨在捕捉参照人脸图片的具体特质并融合附加的空间调控机制。IdentityNet利用文字指令和脸部特性相结合的方式导航图像创作流程，以维持生成期间的人脸特征精确度。
4. 培训与推理解法于训练阶段中，InstantID专注于调整图像适配器与IdentityNet的相关设置，同时固定住预先训练好的扩散模型参数不作改动。因此，在缺乏进一步精细调节的情形下，该系统仍能在推断过程中展现其适应性。
5. 制作流程当创建图片时，InstantID起初采用身份嵌入作为基础信息，并借助图像调整组件与IdentityNet的指引作用，把上述信息输入到扩散模型中，在此基础上，扩散模型依据所提供的条件来合成图像。