CogView4 – 智谱开源的AI文生图模型,支持生成汉字

AI工具2周前发布 ainav
28 0

CogView4是什么

CogView4 是智谱推出的开源文生图模型,具有60亿参数,支持原生中文输入和中文文字生成。模型在 DPG-Bench 基准测试中综合评分排名第一,达到开源文生图模型的最先进水平(SOTA)。CogView4 是首个遵循 Apache 2.0 协议的图像生成模型,CogView4 支持任意分辨率图像生成,能根据复杂文本描述生成高质量图像。

CogView4 – 智谱开源的AI文生图模型,支持生成汉字

CogView4的主要功能

  • 支持中英双语输入:CogView4 是首个支持生成汉字的开源文生图模型,能够根据中文或英文提示词生成高质量图像。
  • 任意分辨率图像生成:该模型支持生成分辨率在 512×512 到 2048×2048 之间的图像,满足不同场景的创作需求。
  • 强大的语义对齐能力:在 DPG-Bench 基准测试中,CogView4 综合评分排名第一,展现了其在复杂语义对齐和指令跟随方面的卓越性能。
  • 中文文字绘画:CogView4 特别优化了中文文字生成能力,能够将汉字自然地融入图像中,适合广告、短视频等创意领域。
  • 显存优化与高效推理:通过模型 CPU 卸载和文本编码器量化等技术,CogView4 显著降低了显存占用,提升了推理效率。

CogView4的技术原理

  • 架构设计:CogView4 采用了扩散模型结合 Transformer 的架构。扩散模型通过逐步去除噪声来生成图像,Transformer 负责处理文本和图像的联合表示。模型使用了 6B 参数的配置,支持任意长度的文本输入和任意分辨率的图像生成。
  • 文本编码器与 Tokenizer:CogView4 使用了双语(中英文)的 GLM-4 编码器,能处理复杂的语义对齐任务。文本通过 Tokenizer 转化为嵌入向量,随后与图像的潜在表示结合。
  • 图像编码与解码:图像通过 Variational Auto-Encoder(VAE)编码为潜在空间的表示,通过扩散模型逐步去噪生成最终图像。使模型能高效地处理图像的生成任务。
  • 扩散过程与去噪:扩散模型的核心是通过一系列的去噪步骤逐步生成图像。CogView4 使用了 FlowMatch Euler Discrete Scheduler 来控制去噪过程,用户可以通过调整去噪步数(num_inference_steps)来平衡生成质量和速度。
  • 多阶段训练策略:CogView4 采用多阶段训练策略,包括基础分辨率训练、泛分辨率训练、高质量数据微调以及人类偏好对齐训练。确保生成图像的高质量和美感。
  • 优化与效率:为了提升训练和推理效率,CogView4 采用了显存优化技术,如模型 CPU 卸载和文本编码器量化。模型支持 Apache 2.0 协议,便于开源社区的进一步开发。

CogView4的项目地址

  • Github仓库:https://github.com/THUDM/CogView4
  • HuggingFace模型库:https://huggingface.co/THUDM/CogView4-6B

CogView4的官方案例

  • 超长故事(四格漫画):请生成一张图包含四个场景的四格漫画图,采用动漫插画风格的连环画。其中主要出现的角色有: 小明:人类男孩,拥有一颗勇敢的心,手持宝剑,穿着简易的战士服装。 公主:人类女性,美丽优雅,穿着华丽的公主服饰,被囚禁在怪兽的老巢。 国王:人类男性,威严而仁慈,穿着华丽的王者服饰,坐在王国的宝座上。 火焰龙:怪兽,全身覆盖着火焰般的鳞片,口吐火焰,体型庞大。 黑暗魔王:怪兽,体型巨大,全身笼罩在黑暗中,拥有强大的魔法力量。
CogView4 – 智谱开源的AI文生图模型,支持生成汉字
  • CogView4 能将中英文字符自然地融入画面,使海报、文案配图创作更加便捷。
CogView4 – 智谱开源的AI文生图模型,支持生成汉字
  • 擅长理解和遵循中文提示词,例如能够画出古诗文中的意境。
CogView4 – 智谱开源的AI文生图模型,支持生成汉字

CogView4的应用场景

  • 广告与创意设计:CogView4 能将中英文字符自然地融入画面,生成高质量的海报、文案配图等,满足广告和创意设计领域的需求。
  • 教育资源生成:模型可以为教育领域生成教学插图、科学插图等,帮助学生更好地理解和吸收知识。
  • 儿童绘本创作:CogView4 能生成适合儿童绘本的插图,激发儿童的想象力。
  • 电商与内容创作:生成高质量的产品图片、广告海报等,帮助商家快速创建吸引人的视觉内容。
  • 个性化定制:根据用户需求生成定制化的图像内容,提升用户体验。
© 版权声明

相关文章