Sketch2Code由微软AI Lab于2018年推出,旨在帮助开发人员轻松地将手绘草图转化成HTML代码的开源项目。使用Sketch2Code,开发人员可以绘制线框草图并将其导出为源代码。
使用人工智能和自动化从线框草图中开发代码,支持基本的网页视觉元素,包括标签、文本字段、文本段落、图像和按钮等。
2018年发布时,该项服务背后的模型已经用数百万张图像进行了训练,可以对各种类型的物体进行物体检测。有了这些信息,该工具可以生成设计中不同元素的HTML代码片段,然后可以根据识别的元素的位置推断设计的布局,并相应地生成最终的HTML代码。
而在GPT 4的演示中,也有一段将草图转换成网页的Demo演示,很可能微软已经将该技术与OpenAI合作并进行了迭代,而最新训练的图像数据也可能远超2018年。