CogView4是什么
CogView4 是智谱推出的开源文生图模型,具有60亿参数,支持原生中文输入和中文文字生成。模型在 DPG-Bench 基准测试中综合评分排名第一,达到开源文生图模型的最先进水平(SOTA)。CogView4 是首个遵循 Apache 2.0 协议的图像生成模型,CogView4 支持任意分辨率图像生成,能根据复杂文本描述生成高质量图像。

CogView4的主要功能
- 支持中英双语输入:CogView4 是首个支持生成汉字的开源文生图模型,能够根据中文或英文提示词生成高质量图像。
- 任意分辨率图像生成:该模型支持生成分辨率在 512×512 到 2048×2048 之间的图像,满足不同场景的创作需求。
- 强大的语义对齐能力:在 DPG-Bench 基准测试中,CogView4 综合评分排名第一,展现了其在复杂语义对齐和指令跟随方面的卓越性能。
- 中文文字绘画:CogView4 特别优化了中文文字生成能力,能够将汉字自然地融入图像中,适合广告、短视频等创意领域。
- 显存优化与高效推理:通过模型 CPU 卸载和文本编码器量化等技术,CogView4 显著降低了显存占用,提升了推理效率。
CogView4的技术原理
- 架构设计:CogView4 采用了扩散模型结合 Transformer 的架构。扩散模型通过逐步去除噪声来生成图像,Transformer 负责处理文本和图像的联合表示。模型使用了 6B 参数的配置,支持任意长度的文本输入和任意分辨率的图像生成。
- 文本编码器与 Tokenizer:CogView4 使用了双语(中英文)的 GLM-4 编码器,能处理复杂的语义对齐任务。文本通过 Tokenizer 转化为嵌入向量,随后与图像的潜在表示结合。
- 图像编码与解码:图像通过 Variational Auto-Encoder(VAE)编码为潜在空间的表示,通过扩散模型逐步去噪生成最终图像。使模型能高效地处理图像的生成任务。
- 扩散过程与去噪:扩散模型的核心是通过一系列的去噪步骤逐步生成图像。CogView4 使用了 FlowMatch Euler Discrete Scheduler 来控制去噪过程,用户可以通过调整去噪步数(
num_inference_steps
)来平衡生成质量和速度。 - 多阶段训练策略:CogView4 采用多阶段训练策略,包括基础分辨率训练、泛分辨率训练、高质量数据微调以及人类偏好对齐训练。确保生成图像的高质量和美感。
- 优化与效率:为了提升训练和推理效率,CogView4 采用了显存优化技术,如模型 CPU 卸载和文本编码器量化。模型支持 Apache 2.0 协议,便于开源社区的进一步开发。
CogView4的项目地址
- Github仓库:https://github.com/THUDM/CogView4
- HuggingFace模型库:https://huggingface.co/THUDM/CogView4-6B
CogView4的官方案例
- 超长故事(四格漫画):请生成一张图包含四个场景的四格漫画图,采用动漫插画风格的连环画。其中主要出现的角色有: 小明:人类男孩,拥有一颗勇敢的心,手持宝剑,穿着简易的战士服装。 公主:人类女性,美丽优雅,穿着华丽的公主服饰,被囚禁在怪兽的老巢。 国王:人类男性,威严而仁慈,穿着华丽的王者服饰,坐在王国的宝座上。 火焰龙:怪兽,全身覆盖着火焰般的鳞片,口吐火焰,体型庞大。 黑暗魔王:怪兽,体型巨大,全身笼罩在黑暗中,拥有强大的魔法力量。

- CogView4 能将中英文字符自然地融入画面,使海报、文案配图创作更加便捷。

- 擅长理解和遵循中文提示词,例如能够画出古诗文中的意境。

CogView4的应用场景
- 广告与创意设计:CogView4 能将中英文字符自然地融入画面,生成高质量的海报、文案配图等,满足广告和创意设计领域的需求。
- 教育资源生成:模型可以为教育领域生成教学插图、科学插图等,帮助学生更好地理解和吸收知识。
- 儿童绘本创作:CogView4 能生成适合儿童绘本的插图,激发儿童的想象力。
- 电商与内容创作:生成高质量的产品图片、广告海报等,帮助商家快速创建吸引人的视觉内容。
- 个性化定制:根据用户需求生成定制化的图像内容,提升用户体验。
© 版权声明
文章版权归作者所有,未经允许请勿转载。