CogView4 – 智谱开源的AI文生图模型，支持生成汉字

CogView4是什么

CogView4 是智谱推出的开源文生图模型，具有60亿参数，支持原生中文输入和中文文字生成。模型在 DPG-Bench 基准测试中综合评分排名第一，达到开源文生图模型的最先进水平（SOTA）。CogView4 是首个遵循 Apache 2.0 协议的图像生成模型，CogView4 支持任意分辨率图像生成，能根据复杂文本描述生成高质量图像。

CogView4的主要功能

• 支持中英双语输入：CogView4 是首个支持生成汉字的开源文生图模型，能够根据中文或英文提示词生成高质量图像。
• 任意分辨率图像生成：该模型支持生成分辨率在 512×512 到 2048×2048 之间的图像，满足不同场景的创作需求。
• 强大的语义对齐能力：在 DPG-Bench 基准测试中，CogView4 综合评分排名第一，展现了其在复杂语义对齐和指令跟随方面的卓越性能。
• 中文文字绘画：CogView4 特别优化了中文文字生成能力，能够将汉字自然地融入图像中，适合广告、短视频等创意领域。
• 显存优化与高效推理：通过模型 CPU 卸载和文本编码器量化等技术，CogView4 显著降低了显存占用，提升了推理效率。

CogView4的技术原理

• 架构设计：CogView4 采用了扩散模型结合 Transformer 的架构。扩散模型通过逐步去除噪声来生成图像，Transformer 负责处理文本和图像的联合表示。模型使用了 6B 参数的配置，支持任意长度的文本输入和任意分辨率的图像生成。
• 文本编码器与 Tokenizer：CogView4 使用了双语（中英文）的 GLM-4 编码器，能处理复杂的语义对齐任务。文本通过 Tokenizer 转化为嵌入向量，随后与图像的潜在表示结合。
• 图像编码与解码：图像通过 Variational Auto-Encoder（VAE）编码为潜在空间的表示，通过扩散模型逐步去噪生成最终图像。使模型能高效地处理图像的生成任务。
• 扩散过程与去噪：扩散模型的核心是通过一系列的去噪步骤逐步生成图像。CogView4 使用了 FlowMatch Euler Discrete Scheduler 来控制去噪过程，用户可以通过调整去噪步数（num_inference_steps）来平衡生成质量和速度。
• 多阶段训练策略：CogView4 采用多阶段训练策略，包括基础分辨率训练、泛分辨率训练、高质量数据微调以及人类偏好对齐训练。确保生成图像的高质量和美感。
• 优化与效率：为了提升训练和推理效率，CogView4 采用了显存优化技术，如模型 CPU 卸载和文本编码器量化。模型支持 Apache 2.0 协议，便于开源社区的进一步开发。

CogView4的项目地址

• Github仓库：https://github.com/THUDM/CogView4
• HuggingFace模型库：https://huggingface.co/THUDM/CogView4-6B

CogView4的官方案例

• 超长故事（四格漫画）：请生成一张图包含四个场景的四格漫画图，采用动漫插画风格的连环画。其中主要出现的角色有：　小明：人类男孩，拥有一颗勇敢的心，手持宝剑，穿着简易的战士服装。　公主：人类女性，美丽优雅，穿着华丽的公主服饰，被囚禁在怪兽的老巢。　国王：人类男性，威严而仁慈，穿着华丽的王者服饰，坐在王国的宝座上。　火焰龙：怪兽，全身覆盖着火焰般的鳞片，口吐火焰，体型庞大。　黑暗魔王：怪兽，体型巨大，全身笼罩在黑暗中，拥有强大的魔法力量。

• CogView4 能将中英文字符自然地融入画面，使海报、文案配图创作更加便捷。

• 擅长理解和遵循中文提示词，例如能够画出古诗文中的意境。

CogView4的应用场景

• 广告与创意设计：CogView4 能将中英文字符自然地融入画面，生成高质量的海报、文案配图等，满足广告和创意设计领域的需求。
• 教育资源生成：模型可以为教育领域生成教学插图、科学插图等，帮助学生更好地理解和吸收知识。
• 儿童绘本创作：CogView4 能生成适合儿童绘本的插图，激发儿童的想象力。
• 电商与内容创作：生成高质量的产品图片、广告海报等，帮助商家快速创建吸引人的视觉内容。
• 个性化定制：根据用户需求生成定制化的图像内容，提升用户体验。