阿里开放源代码的视觉图文生成与编辑工具AnyText

AnyText指的是什么

AnyText是由阿里巴巴智能计算研究院开发的一款基于扩散机制的多语言视觉文本生成及编辑模型，主要致力于提高图像中文字渲染的质量和一致性。该模型包含了两个核心部分：辅助潜在组件与文本嵌入组件。前者通过利用字符形态、位置信息以及遮罩图等元素来创建用于文本生成或修改的基础特征；后者则借助OCR技术对笔画数据进行编码，并将这些编码结果与从分词器获取的图像标题嵌入相结合，从而实现文字在背景中的自然融合。此方法有效地克服了合成过程中出现的文字区域模糊、难以辨识或是错误的问题，提升了图像中文本内容生成的质量和准确性。

在GitHub上的开源项目地址如下：https://github.com/tyxsspa/AnyText

研究报告链接：https://arxiv.org/abs/2311.03054

Damoyun平台上的AnyText工作室地址如下：
https://modelscope.cn/studios/damo/studio_anytext

Hugging Face平台上的模型空间：https://huggingface.co/spaces/modelscope/AnyText

AnyText的特点与功能特性

• 支持多种语言由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您能提供具体段落或句子，我很乐意帮您完成这项任务。AnyText具备生产多国语言文字的能力，涵盖中文、英文、日文及韩文等多种语言。
• 批量文字创作由于提供的内容仅有冒号，并没有具体的信息或句子，因此无法对其进行伪原创的改写。如果有具体的文本需要处理，请提供详细信息。用户能够选择在图片的不同区域添加文字。
• 变换区记述由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您能提供具体段落或句子，我很乐意帮您完成这项任务。任一文本可以创建位于直线、直角及任意弯曲或是复杂形状范围中的文字。
• 文字处理技能由于提供的内容为空，没有具体的信息或文本供我进行伪原创的改写。如果您能提供一段具体的文字或者信息，我很乐意帮您完成这项任务。任一文本具备调整图片内特定区域文字的能力，并确保该文字的样式与周边的文字相协调。
• 便捷安装由于提供的内容为空，没有具体文本可供改写。如果您能提供一段具体的文字或句子，我就能帮您完成这项任务。例如：“这是一段需要被改写的示例文本。”我会在此基础上进行伪原创的表达调整。请补充具体内容以便继续操作。AnyText能够顺利融入已有的扩散模型，赋予其生成文本的功能。

AnyText的操作机制

借助各个模块的有效协作，AnyText能够精准在图片内创建并修改多种语言的文字内容，并确保文字与图片背景完美结合。具体情况包括以下几点：

1. 文本传播管理通道请提供需要伪原创改写的具体内容。由于您的请求中并未包含具体文本，我目前无法完成这项任务。如果您能给出具体内容，我很乐意帮您进行改写。
   • AnyText通过利用变分自编码器（VAE）将输入的图像转换为一种潜在的表述形式。
   • 接着，运用扩散算法逐渐在该隐含表示上叠加噪音，从而创建出一连串具有不同时间阶段的噪点隐式图象。
   • 于每一个时间节点上，AnyText均会利用一种名为TextControlNet的模型来预估需加入至含噪潜像中的噪音量，以此实现对文本产出的有效调控。
2. 支持潜在组件由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您有特定的内容需要帮助，请提供详细信息。
   • 此组件以文字图形、坐标及遮罩影像为输入参数，进而产出一副辅助性的潜藏特性图表。
   • 文字形状的数据是通过将文本转化为图片来创建的，而其定位则是标识这些文字在所形成图片里的具体坐标。同时，遮罩图用来确定哪些部分在处理时应当被保持不变。
3. 文本集成组件由于提供的内容仅有冒号，并没有实际的文字信息供我进行伪原创的改写，请提供具体的文本内容。这样我可以帮助你完成需求。如果还有其他任何问题或需要进一步的帮助，请告诉我！
   • 此组件采用预先训练好的OCR模型（例如PP-OCRv3），以获取文字的笔划细节，并将这些细节转换成嵌入式表示。
   • 这些嵌入信息与由分词器产生的图像描述嵌入相结合，形成一种综合的中介表达形式，并经由交叉注意力机制传输至UNet架构的中部层级中。
4. 文本理解误差由于提供的内容为空，没有具体的信息或文本供我进行伪原创的改写。如果有具体的段落或者句子需要帮助，请提供详细信息。这样我可以更好地完成您的需求。
   • 于训练阶段中，AnyText采纳了基于文本的认知损耗方法以更进一步地优化其生成文字的精准度。
   • 此损失是通过对生成图片与源图片的文本部分进行对比来计算的，重点仅放在文本内容的准确性上，而不考虑背景变化、字符定位误差以及色彩和字体风格等其他因素的影响。
5. 培养与完善由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您有特定的内容需要帮助，请提供详细信息。
   • AnyText模型的训练目的在于最小化由文本调控扩散损失与文本识别损失组成的加权总和。
   • 在培训期间，该模型通过调节权重比例（λ）来协调这两类损耗之间的关系。

掌握利用AnyText创建文本的方法

1. 浏览AnyText在ModelScope上的专区或是尝试其Hugging Face演示版
2. 请输入相应的关键词作为指示，并挑选出特定段落中的字符序列。
3. 最终点击Run启动程序，静候图像与文本的生成。