蚂蚁集团开源的大语言模型 LLaDA 2.0

LLaDA 2.0是什么

LLaDA 2.0是由蚂蚁集团全新发布的开源离散扩散大语言模型（dLLM），该模型提供了16B（mini）和100B（flash）两个版本，分别对应不同的参数规模。作为一项具有里程碑意义的创新成果，LLaDA 2.0成功突破了传统扩散模型在规模扩展上的局限性，首次将模型参数量提升至100B级别。

通过引入革命性的Warmup-Stable-Decay（WSD）持续预训练策略，LLaDA 2.0实现了从自回归模型到扩散模型的无缝转换。这一突破使得模型能够继承自回归模型的知识体系，同时避免了传统方法中需要从头开始训练所带来的高昂成本。

LLaDA 2.0的主要特性

• 突破性规模扩展：LLaDA 2.0提供两种版本，其中100B参数量的版本达到了当前同类扩散模型中的最高水平。这一成就标志着扩散模型在实际应用中的可用性和效率实现了质的飞跃。
• 创新预训练策略：独特的WSD预训练方法为模型注入了强大的自适应能力，使其能够更高效地学习和生成高质量文本，同时显著降低了训练成本。
• 性能优化：LLaDA 2.0在保持扩散模型核心优势的同时，通过优化设计大大提升了生成效率和效果，特别是在处理复杂任务时表现优异。

LLaDA 2.0的发布不仅为学术界提供了新的研究方向，更为产业界的实际应用展示了广阔前景。其创新性技术和突破性的参数规模将为AI领域带来深远影响。