RoomTransformer – 东北大学与Stability AI联手开发的2D到3D室内空间转化技术

HouseCrafter指的是什么

由东北大学与Stability AI联合开发的HouseCrafter是一项先进技术，能够自动将二维图纸转化为三维室内外环境模型。该技术采用了一个经过大规模图像训练的2D扩散算法来生成协调统一的多视角彩色及深度图。通过批量自回归方式产生这些图像，以维持整体的一致性，并构建出高精度的3D场景再现效果。HouseCrafter简化了创建复杂虚拟空间的过程，并提供用户交互功能，允许用户在平面布局上调整家具位置来修改场景设计，从而即时更新生成的三维视图。这使得该技术具备广泛的应用前景，在建筑设计、室内装饰及房地产等多个领域都有着潜在价值。

HouseCrafter的核心特性

• 从二维图纸转变为三维环境把二维平面图像转变为一个全面的三维室内环境，例如住宅模型。
• 多个视角的图像创作创建位于各个地点的统一多视角彩色与深度（RGB-D）影像。
• 自动回溯图片创作之前产生的图片作为参考条件，来引导创建旁边位置的新图。
• 整体统一性利用整体布局图与关注机制来保障生成图片的统一性。
• 三维环境复建利用TSDF融合方法，从创建的RGB-D图片中复原三维网格结构。
• 用户体验与内容修改让用户能够在平面设计中调整家具等物件的位置以修改场景布置，并且3D视角将同步反映这些变化。

HouseDesigner的核心技术机制

• 二维扩散模型利用大量在线图片培训的二维扩散算法已被改编以创建RGB-D图像。
• 自动回溯批处理创建根据之前创建的图片，成批制作新的图像，并保证空间上的连续性。
• 布置指导采用平面图来指引整体布局设计，并利用布局面部关注机制来保证生成的图像与原始平面图相吻合。
• 深层次数据整合在创建图像时同步融入RGB色彩与深度数据，以增强空间结构与含义的统一性。
• 焦点机制通过利用参照深度的几何数据来升级交叉注意力模块，以增强图像生产的品质。
• 三维重构技术运用TSDF融合方法，把多个视角的RGB-D影像转化为三维网格模型。

您可以访问HouseCrafter项目的网址

• 官方网站项目https://neu-vi.github.io/homeDesigner
• 关于arXiv上的科技文章访问该链接以查看文档的内容：https://arxiv.org/pdf/2406.20077，您将能够阅读到经过重新表述但保持原意不变的文章版本。请注意，实际的伪原创内容需要基于原文的具体文字来完成修改，而上述提示仅提供了一般性的指引说明。

HouseCrafter的使用情境

• 建筑创作及布局设计辅助建筑师与设计师迅速把平面图纸转变为三维模型，以实现更佳的空间布局规划及设计方案评估。
• 家居装修设计室内设计师负责设计与调整室内的布局方案，并通过预览来评估家具布置及装饰的视觉效果。
• 房产销售推广房地产商利用HouseCrafter创建的三维模型向客户展示虚拟房源 tour，以提升其宣传资料的魅力。
• 视频游戏创作游戏开发人员迅速搭建出错综复杂的三维游戏场景。
• 模拟现实(VR)与强化现实(AR)提供详尽的3D室内环境模型以支持虚拟现实与增强现实应用程序，从而优化用户感受。
• 影视与动漫创作高效创建用于电影和动画的三维场景，显著提升生产效率。