诗画生境 – 中文古典诗词图像创作的迭代修正平台

Poetry2Image指的是什么？

哈尔滨工业大学开发了一款名为Poetry2Image的迭代校正框架，专注于中文古诗词的图像化呈现。该框架利用自动反馈与修正机制，提升了诗歌内容和视觉表达之间的匹配度，并准确地反映了诗句中的意义及其艺术内涵。它特别解决了文本转图像技术在处理中国古典诗文时经常遇到的关键细节遗失或语义不清的问题。Poetry2Image能够增强生成图像的元素完整性和语义一致性，在与五种主流的图像生成功能结合使用时，其平均元素完整性评分为70.63%，而语义一致性的评分则达到80.09%。

Poetry2Image的核心特性

• 自动化的回馈与修正借助外部的诗歌数据库，Poetry2Image构建了一个自动化修正回路，提升了诗歌内容与对应图像的一致性，并且优化了生成图片的真实性和精确度。
• 降低人为介入此框架减少了传统的图像生成方法对人工介入及专业技能的高度依赖，使得整个生成流程更为高效。
• 增强效能与提升品质与传统微调技术相比，Poetry2Image能在保证生成图片质量的前提下，大幅降低训练所需的资源和时间。
• 查找与译释该平台会从其储存的古代诗歌资料库中查找用户指定的诗词作品，并提供相应的白话文解释及鉴赏分析。
• 创建原始图片根据现代汉语对诗歌的诠释，系统将创建一个初始图像。
• 抽取核心成分该系统利用了一个庞大的语言模型来辨识和抽取诗歌里的核心要素。
• 图片校正程序将会验证所创建的图片是否包含所有的重点要素，并在需要的情况下给出改进的意见，例如增加遗漏的部分或是重新安排各要素的布局。
• 逐步改进当图片里的要素存在缺失或偏差时，系统将依据提议重新创作图像，这一流程将持续进行直至所生成的画面能精确传达出诗文的情境。

Poetry2Image的运作机制

• 对图片中元素的辨识和调整利用开放式词汇检测器（OVD）来辨识图片内的组成部分，并借助大型语言模型(LLM)给出调整提议，这些提议将以图片中标注的方框方式展现，引导图像处理模型修改原始图象。
• 适应性和培训费用Poetry2Image不限于最初的文本转图生成功能，其迭代修正机制避免了追加培训的成本负担，并通过自动化图像创建与即时反馈循环大幅降低了人工标注的工作量。

该项目的网址为Poetry2Image

• GitHub代码库：在GitHub上可以找到由prajwalppv创建的Poetry2Image项目，网址为https://github.com/prajwalppv/Poetry2Image。
• 关于arXiv的技术文章访问链接 https://arxiv.org/abs/2407.06196 可以查看论文的摘要和详细信息。请注意，直接提供了PDF格式的链接在分享时可能会有所变化，建议通过上述方式获取最新版本的内容。

Poetry2Image的使用情境

• 古典诗歌文化的推广与发展借助生成契合古诗词氛围的画面，Poetry2Image增强了对古代诗歌文化的推广力度，让传统艺术能够以更加鲜活的方式为当代社会接受和喜爱。
• 支持艺术创作能够辅助创作者们在艺术设计的过程中迅速创造出符合古诗词意境的视觉内容，为他们的创意过程增添灵感并供应素材。
• 教学和求知于教育界而言，Poetry2Image能够充当一种教学辅助手段，旨在使学生们能更深刻地领会并牢记古典诗歌的内容；借助图文并茂的方式呈现知识内容以优化学习过程中的感知效果。
• 探究图像创建技术：Poetry2Image构建了一项研究工具，致力于深化对从文字转换为图像的技术的理解与优化，尤其专注于包含深厚文化和复杂意义的中国古典诗歌领域。