港中文与腾讯合作开发的三维可穿戴设备生成技术BAG

BAG代表的是什么？

BAG（Body-Aligned 三维可穿戴物品生成）是由香港中文大学与腾讯合作研发的一项创新技术，旨在根据多视角图像扩散模型及控制网络(ControlNet)，利用人体形态与姿态数据自动生成适配性极高的3D可穿戴资产，例如服饰和配件。该技术的关键在于采用多视图生成器以及三维扩散模型的组合策略：首先运用多视角图像扩展方法创造一系列符合身体轮廓的角度图片；随后基于三维扩散机制把这些视觉素材转化成具体的三维物品。借助物理模拟及优化手段，确保这些3D资产能够流畅贴合人体形态，有效避免了穿透现象的发生。

BAG的核心作用

• 生成多个视角的图像利用多视角影像扩展技术，根据人物的身体形态及姿势数据创建与其身体相匹配的多个视角画面。
• 三维模型创作通过向三维扩散模型提供多个视角的图片，可以创造出高品质的三维可穿戴物品。
• 多样性和个性特征能够生成从单一资产到多组件组合的各种配置，以适应各类应用场景中的多元需求。
• 高度匹配能够迅速创建适合各种人体模型的资源，广泛应用于虚拟服饰体验、游戏制作、虚拟现实及增强现实等多个领域。

BAG的工作机制

• 视角图形扩展方案BAG起初开发了一种扩散模型，该模型能够从单一图像转换为一致性的多视角图像，并在庞大的Objaverse数据集中进行训练以增强其多样性和泛化能力。此过程通过一个控制网络（ControlNet）来指导生成与人体结构相匹配的多视图影像，利用目标人物多个角度的2D投影作为控制信号，这些像素值代表了归一化空间内人体表面各点的XYZ坐标信息。
• 三维形态创造所创建的多个视角的图像会被送入局部三维扩散算法模型内，以构造物体的三维形态。利用多角度边缘线的信息进行类似的转换（Sim3）校准，保证构建出的三维对象能够与人形模板实现精确的空间吻合。
• 物理学仿真及改进为保证生成的3D模型能够无缝适应于人体形态，BAG运用了物理仿真技术来消除模型与人体间的穿插现象。借助代理网格维持住这些资源的基础结构特征，并将其用作织物仿真的参照点，从而达到完美贴合无穿透的效果。

BAG项目的所在地网址

• 官方网站项目：访问 https://bag-3d.github.io/ 获取更多信息。
• 关于arXiv的技术文章在该链接中可找到一篇学术论文的PDF版本，其详细信息可在页面 https://arxiv.org/pdf/2501.16177 上查看。

BAG的使用情境

• 在线衣物体验利用BAG技术，能够依据用户的身形迅速创建个性化的三维服饰与配件设计。这使得顾客能够在虚拟空间中即时测试多种样式的衣服，并且改善了购买过程中的尺码匹配问题，从而降低了商品退回的概率，提升了整体购物满意度。
• 视频游戏创作在游戏中，BAG技术能够用来创造各种各样的角色服饰与装饰品，允许高度的个性化设置，并增强玩家对角色的沉浸感。
• 仿真环境（VE）与扩增实境（AR）通过BAG创建的三维模型能够轻松嵌入至虚拟现实与增强现实中，使用户获得身临其境般的服饰试穿及创作感受，并在数字展览空间内尝试各种样式的衣服。
• 潮流造型设计设计师能够借助BAG迅速创建与更新3D服饰模型，加快设计理念的实现过程，并能在数字化场景中先行查看设计方案的实际视觉效果，从而减少制作成本。