吉林大学等机构研发的DesignSketch —— 一款设计绘图风格转换框架

90 0 0

LineArt指的是什么

LineArt是一款由吉林大学、瑞典皇家理工学院及东京工业大学等机构共同开发的设计绘图风格迁移工具，它能够在不进行训练的情况下将复杂的视觉元素迁移到精细的设计图纸上，为创意设计和艺术创作提供支持。该框架模拟了人类分层次的视觉感知机制，并结合艺术指导下的扩散模型来生成高度逼真的图像，在保留原始设计细节的同时保证结构的真实性和准确性。LineArt主要包括两个关键步骤：首先是一个多功能线条融合组件，用于增强输入图纸中的详细构造信息；接着是通过基础层构建和表面色彩填充两步绘图流程分别处理光照与纹理特征。由于无需进行复杂的3D建模或网络训练，该框架在设计任务中表现出色，并且在测试中显示出了超越当前顶尖技术的性能表现。

LineArt的核心特性

高度逼真的外表转换把参照图片里的复杂外表特性（包括材料质感、表面纹路和光线效果等）精确复制到设计方案中，确保最终形成的图象在观感上与原照极为相似。
维持构造细节在传递视觉特性时，精确维护设计蓝图中的细微构造，防止任何细节的损失或扭曲，以保证完全展现原始设计理念。
不必进行精准的三维建模及网络培训摒弃了传统方法对精细3D建模、物理特性定义及大型网络培训的需求，简化了设计流程，减少了开支，并提升了工作效率。
助力创意与美术作品的打造向设计师与艺术创作者供应高效工具，以迅速创建具备独特视觉风格的设计草图展示，并协助其直接评判设计方案的成效，挑选最优材质搭配方案，从而加快设计理念的更新进程。

LineArt的运作机制

多功能频率整合组件受到视觉表达理论的影响，本方法将输入的设计图纸扩展成一个包含三个层级信息的理想草图版本。这三个层级分别是：使用连续单线来划分不同区域，采用双线突出局部特征，并利用离散软边缘点集合展现潜在的空间梯度和纹理细节。这种多层次的视觉信息丰富了结构详情，为接下来应用扩散模型生成更为精确且真实的图像提供了坚实的基础。
绘制过程中分为两个阶段：首先是构建底层结构，接着是对表面进行上色。由于提供的原文为空，没有具体内容可以进行伪原创改写。如果您能提供具体文本，我很乐意帮您完成这项任务。
- 底层构建从参照图片中提取出用于调节亮度的因素，并模拟油画创作初期打底的过程。利用这些亮度调节因素来构建初始的明暗对比度和形状结构，为后续添加光影效果及创造纹理做好准备。通过调整影响原始噪点分布的平均值与变异程度，掌控生成图像的整体明亮度水平，进而创建出参考图片与新生成图片之间的间接联系，确保新图在光照特性上能够贴近参照物。
- 表面染色通过分解参考图片获取到纹理图后，对其进行整体编码，并有选择性地将其融入U-net架构中的某些注意力层中，以此来模拟油画透明涂层上色的过程。此方法利用分离式的交叉注意力机制结合文本、内容及外观特性，使合成的纹理图像成为外观生成的主要导向者。采用柔和边缘作为高频信息引导手段，保证最终输出与原始纹理结构一致，并支持自然布局变动的同时实现精细材质嵌入和精准特征迁移。
以知识为导向的架构维持与外表转换LineArt结合了人类的艺术创作技巧和视觉理解机制来生成图像。它对输入草图进行多层次分析，并将显著特点以双线形式展现出来；物体的部分则通过单线条勾勒其结构轮廓与几何边缘，同时利用离散的基础视觉特征（如柔和的边界）指导空间梯度分布及纹理构建的过程，确保准确表达出各元素的空间位置关系并贴合高细节水平的表面图案。在风格迁移上，LineArt模仿古典油画中的“Imprimatura”技法，将绘画流程拆解为底色铺设与色彩叠加两个环节，在这两个阶段分别处理图像内含的信息（比如光照、阴影和反射效果）以及纹理特征及颜色属性，以此达到高度忠实于原作的外观转换。

LineArt项目的仓库位置

官方网站 проекта
注：这里的”项目官网”被翻译成了俄语的“官方网站项目的”，虽然改变了语言和表达形式，但是由于原文信息点较少，在不改变原意的前提下可变空间有限。如果需要中文伪原创表达，可以这样改写：“该项目的官方网页”或“本计划的官方网站”。访问此链接以查看线条艺术作品集：https://meaoxixi.github.io/LineArt/
关于arXiv上的科技学术文章这篇论文的详情可以在网址 https://arxiv.org/pdf/2412.11519v1 上找到。