字节与华东师范大学携手打造的多模态创作模型 – TextSynergy

TextUnity指的是什么

TextHarmony是由华东师范大学与字节跳动联合开发的一款多模态创作工具，专注于视觉内容和文字信息的理解及创造。该模型采用Slide-LoRA技术架构，在单一实例中结合了针对不同模态的专业知识和通用技能，部分实现了跨模态生成空间的解耦，并协调图像与文本的协同创建过程。TextHarmony致力于优化视觉与语言表达的一致性生成效果。研发团队还构建了一个名为DetailedTextCaps-100K的大规模高质量图像描述数据集，利用高级闭源机器学习模型进行训练，显著增强了该系统在处理和创造图文内容方面的能力。

TextUnity的核心特性

• 视像文字解析TextHarmony具备解析图像内文字内容的能力，并能够完成包括场景中文本的辨识与检测、文档分析解读、基于视觉的问题解答（VQA），以及重要信息抽取（KIE）在内的多种工作。
• 图像文字创作该模型能够依据文字说明创作图片，并确保在生成的图片里精准而协调地展现文字内容。
• 图像文字处理TextHarmony能够在图片的指定区域添加或者显示文字，并确保背景的一致性。
• 视觉得到的文本认知该模型拥有基础的光学字符识别(OCR)功能，能够辨识并提取图片内的文本信息。

技术背后的运作机制：TextHarmony的核心理念

• 滑动-LoRA该方法通过整合动态聚合特定于模态及跨模态的LoRA（低秩适应）专家技术，实现了对多模态生成空间的部分解耦，从而使模型能够更和谐地在同一实例中产出视觉与语言内容。
• 多种模式的预先训练TextHarmony通过在一个含有大量图文结合数据的语料库中预先训练，掌握了创建多种媒体格式内容的能力。
• 全面微调基于预训练技术，TextHarmony针对以文本为核心的任务进行了调整优化，从而增强了其在多模态内容创作及响应用户指示方面的性能。
• 高精度数据集合构建了包含十万详细图文描述配对的DetailedTextCaps-100K数据集，在图像创作过程中注重融合视觉与文字信息，从而大幅提升了所生成图片的质量。
• 结构设计在TextHarmony的设计中，包含了视觉编码单元、一个大规模的语言处理模型以及图像重构模块。这些部分相互配合来创造图文结合的内容。通过优化条件概率的方式，系统能够生产出融合了文字与图片元素的交织标记序列。

TextHarmony的仓库位置

• Git存储库：访问ByteDance的GitHub仓库以查看TextHarmony项目 – https://github.com/bytedance/TextHarmony
• 关于arXiv上的科技学术文章在学术预印平台ArXiv上发布了一篇编号为2407.16364的论文。

TextHarmony的使用情境

• 文件解析TextHarmony致力于通过自动化手段来处理及解析文件内的文字资料，比如自动辨识并抽取文件里的核心数据，以此增强文件管理的工作效能。
• 识别场景中的文字在城市管理与智能驾驶等行业中，TextHarmony擅长解析并诠释来自街道标识、广告展示牌及各类交通指示符号里的文字内容。
• 关于图像的问答任务（Image-based Question Answering, IQA）TextHarmony具备解析图片信息的能力，并能在教育、娱乐以及智能化辅助等多个领域中发挥作用。
• 图片处理与优化在创意工作与媒体创作过程中，TextHarmony能够依据需求对图片中的文字进行增减或调整，从而增强项目的灵活度。
• 数据查询：借助TextHarmony，开发者能够构建更加智能化的搜索引擎，通过解析图片内的文字信息以提升搜索精度和准确性。