RealisHuman —— 一种旨在修正生成图像中不正常人体部位的后期处理架构

RealisHuman指的是什么？

RealisHuman 是一款先进的后期处理工具，专注于提升生成图像中人物特征区域如手部及面部的精细度。其采用双步骤策略达成此目标：首先利用初始不完美的身体部分作为参照来创造真实感强的身体细节，并保持与原图的整体协调性；随后通过对相邻区段进行再绘制操作，将修正过的人物部位自然嵌入到原先的位置上，以确保融合效果的连贯性和逼真度。RealisHuman 通过这种方式增强了图像中人体元素的真实表现力，并具备良好的适应能力来处理各种风格的画面内容，涵盖卡通和素描等类型。

RealisHuman的核心特性

• 创建高度真实的人体部分RealisHuman 以原本异常的身体部分为参照，创造出高度真实的手部和面部等人体组件，并保证这些组件在细微之处忠实于原图。
• 平稳整合调整区域完成逼真部位的创建之后，RealisHuman 利用重绘周边区域的方法，将调整过的人体部分自然融入原图之中，以实现流畅且真实的效果。
• 管理各种图片样式具备出色的泛化性能，能够高效应对多种样式的图片，涵盖卡通与素描等形式。
• 增强生成图片的逼真度利用前述的两个步骤方法，RealisHuman 增强了所生成图像中人物肢体的真实感。

RealisHuman的运作机制

• 首个阶段的目标是创造高度真实感的身体部分。
  • 参照标准异常区域RealisHuman 采用初始的异常身体部分为参照标准，旨在保证创建出的身体部件在细微之处能够忠实反映原图特征。
  • 获取具体资料运用 Part Detail Encoder 与 DINOv2 等软件，获取异常身体区域的具体特征，如皮肤颜色及质地等方面的信息。
  • 三维姿态测算通过融合来自初始异常区域的三维姿态分析数据，调整合成人体部分图片的姿态，从而保证其精确度和真实感。
• 第二阶段：平滑整合修复区域
  • 确定位置并修剪首先把调整过的人体部分重新安置到原来的位置上，并对附近的区域加以掩盖。
  • 修正与整合视此流程为一个问题修正任务，通过训练模型实现对人体部位与其周边区域的自然结合，保证过渡流畅且效果逼真。
  • 再次描绘在融合阶段，对调整过的人体部分与重绘的背景交界处进行处理，确保没有明显的拼接迹象。

RealisHuman项目的网址位置

• GitHub代码库：在GitHub上可以找到由Wangbenzhi维护的RealisHuman项目，链接如下所示。
• arXiv科技文章在学术论文数据库中可以找到编号为2409.03644的文件，其完整链接如下所示：https://arxiv.org/pdf/2409.03644。

RealisHuman的使用情境

• 制作电子游戏在游戏中创建人物时，利用 RealisHuman 能够制作出更加真实的人物手部与面部特征，增强游戏的现实体验及玩家的投入感受。
• 电影与视频创作在电影电视的视觉效果创作过程中，能够辅助改进或者加强人物的脸部神态与手势表现，从而使特技场景看起来更为逼真自然。
• 图片恢复针对含有手部或面部变形的图片，RealisHuman 能够进行修正，使其外观更为真实自然。
• 创意艺术作品在艺术创作过程中，创作者能够运用这项技术来创造拥有独特色彩与精细特征的身体部分，从而增强艺术品的表达效果。
• 互动型应用程序在使用虚拟试衣或美妆模拟等功能时，能够保证数字形象的面部及手部特征精准匹配用户的实际特点。