IdentityForge – 来自首尔国立大学的基于单一参照图创建多样化完整人物形象的技术

PersonaCraft指的是什么

PersonaCraft是由首尔国立大学开发的一款创新性全身图像合成技术，它融合了扩散模型与3D人体建模的方法，能够从单个参考图片出发创造出多样的、高度个性化且逼真的全身人物形象。该技术特别擅长处理不同人物间的遮挡情况，并允许用户对身体形态进行定制化调整，以达到更个性化的视觉效果。凭借其精确调节姿态和体型的能力，在生成复杂场景下的优质图像方面，PersonaCraft展现了卓越的表现力，并为多个人物的图像合成设定了新的行业标杆。

PersonaCraft的核心特性

• 多角色图片融合基于一张单独的参照图片创造出现实感强烈的多人画面。
• 屏蔽处理妥善处理角色之间的遮挡情况，保证图像里每位角色的肢体部位清晰可见。
• 全身上下的定制化设计不仅仅是聚焦于脸部特征的独特性，还能够精准地定制每个人的整体身形。
• 用户设定体型调控用户可以根据自己的偏好来修改生成角色的体型与轮廓。
• 基于3D感知的姿势调控条件利用SMPLx-ControlNet（SCNet）实现基于3D感知的姿态调控，以增强人体形态与姿势的精准度。

PersonaCraft的核心技术机制

• 融合3D人物建模与扩散模型技术PersonaCraft结合了3D人体建模技术（尤其是SMPLx模型）与扩散模型，以提升对人体形态及姿势调控的能力。
• SCNet（源自SMPLx-ControlNet）通过利用由SMPLx模型创建的深度图像作为引导信息，能够精确地反映身形与姿势，并且高效地解决复杂遮挡情况。
• 脸部与躯体特征识别利用如InsightFace之类的技术从参照图片里抽取脸部特征编码，并通过SMPLx的拟合手段来获取身形参数。
• 基于3D感知的姿态环境条件不同于传统基于2D骨架的姿势设定，PersonaCraft采用包含深度数据的3D姿态资讯，从而实现对人体姿态更加详尽的表现。
• 多用户定制化图片融合通过整合SCNet与IdentityNet的技术优势，利用面部遮罩精准识别个体身份，并完成多个人物的身份定制化图像融合。

PersonaCraft项目的链接位置

• 官方网站：访问地址为github用户gwang-kim下的persona_craft页面
• Git代码库：可在GitHub上找到gwang-kim创建的PersonaCraft项目页面。
• arXiv科技文章访问此链接以查看更新的研究论文：https://arxiv.org/pdf/2411.18068，在这里您可以找到最新的学术内容。

PersonaCraft的使用情境

• 社交平台用户可依据个人偏好打造专属的虚拟人物形象，或是和朋友们共同创造，用于装饰社交媒体账号图标以及作为他们在各种虚拟环境里的象征性角色。
• 宣传与市场推广打造契合目标群体喜好的定制化广告图片，以增强广告的魅力并提升用户的情感共振。
• 潮流与衣着于时装界内，通过呈现服饰在多样身形与背景的人士身上的穿戴情况，创造更为定制化的消费感受。
• 娱乐和嬉戏在游戏中设计独具特色的角色外观，能够提升玩家的沉浸感受和个人化体验。
• 影片及动漫创作在影片和动画创作过程中迅速创建或调整角色外观，以提升生产效率并减少开支。