Prompt修正器 – 一款由微软开放源代码的AI图片编辑软件，利用提示语句完成各种影像调整任务

Prompt修正工具是何物？

微软发布了一款名为PromptFix的开源AI图片修复软件，该工具运用了扩散模型技术来执行用户指示的任务，并能够移除图片中的不需要部分。它涵盖了广泛的图像编辑功能，如为黑白照片上色、去除物体痕迹、消除雾气和模糊效果、擦去水印以及改善低光条件下的成像质量等。通过一个20步的降噪流程，PromptFix可以有效地修正图片瑕疵同时保留原始结构细节。此外，该软件还能处理各种尺寸比例的图像，并展现出强大的适应性和泛化能力。

PromptFix的核心作用

• 执行图片处理作业PromptFix依据用户的个性化命令，完成涵盖基础操作、图片修改及元素构建等多样的图像处理工作。
• 高频率细节维护利用高频导向采样技术，PromptFix能够在处理图像生成和编辑任务时保留细腻的高頻细节，从而实现对图片细部特征的高度保真。
• 增强任务的通用适应性通过利用视觉语言模型（VLMs）支持的提示调整技术来优化文本指令，进而提高模型跨多种图像相关任务的表现和适应性。
• 无样本训练能力PromptFix展现了出色的零样本性能，在未知任务尤其是盲恢复和组合任务方面表现出色，能够无须进一步培训就能应对新挑战。
• 大型数据集合的创建创建一个涵盖广泛图像处理任务的大规模指令遵从数据集，以向模型供给多样化的学习素材。

PromptFix的核心技术机制

• 传播模型扩散模型通过逐渐增加高斯噪音来变换数据，并从中恢复原始信息。PromptFix借鉴了这种方法，利用预测噪音的方式逐步恢复出清晰的画面。
• 高频率指导采样（High-frequency Guided Sampling）为了维持图像中精细的高频频段信息，PromptFix采用了高频率指导采样的技术方案。通过利用低通滤波技术和VAE跳层链接特性来设定准确性限制条件，这种方法保证了在去除噪声的过程中能够很好地保持原有的高清细部特征。
• 辅助提示调整器(Auxiliary Hint Tuner)PromptFix开发了一种辅助提示调整工具，利用视觉语言模型（VLMs）来丰富文本提示的语义内容，以此提升模型在理解和处理复杂命令方面的性能。
• 构造数据集合打造一个涵盖广泛图像处理工作的大型遵从性数据集，涉及基础任务、图片编辑以及物体生成等方面，以供给模型多样化的学习案例。
• 跨越模式的学习通过融合视觉信息与语言命令，PromptFix 达成了多模态的学习目标，使模型具备理解并处理涉及图片细节的复杂任务的能力。
• 改进与代价函数在训练期间，PromptFix运用特殊的优化方法和损失函数来保障模型能够高效地从杂讯中重构优质图像，并精准实现用户编辑命令的要求。

PromptFix的工程链接

• 官方网站项目访问链接：www.yongshengyu.com/改进提示页面
• Git代码库：访问该仓库以获取PromptFix的相关信息 – https://github.com/yeates/PromptFix
• HuggingFace的模型集合访问此链接以获取Yeates发布的PromptfixData数据集：https://huggingface.co/datasets/yeates/PromptfixData
• 关于arXiv的技术文章该论文的链接为：https://arxiv.org/abs/2405.16785 ，请注意，实际内容需访问页面获取。这里提供了访问其摘要和全文的入口。

PromptFix的使用情境

• 个性化相片调整个体使用者可以对旧照片进行修复，移除图片里不需要的对象或人像，甚至为黑白照添加色彩。
• 职业拍摄摄影师优化图像细节，比如在光照条件不佳时提升影像的明亮程度与锐利度，或是调整照片的整体样式与色彩基调。
• 电子美术制作创作者生成新颖的艺术品，例如把真实世界的图片转化为油画或其它艺术形式的样式。
• 新闻与宣传在创建广告时，迅速调整图片以匹配各种宣传文字或特定品牌的需要。
• 影片与录像创作于影片后制阶段，对受损的电影底片进行复原处理，或是无需高昂成本实地拍摄即可构建特效镜头。