人大高瓴AI与蚂蚁合作开发的扩散式大型语言模型LLaDA

LLaDA指的是什么？

由中国人民大学高瓴AI学院李崇轩、文继荣教授团队及蚂蚁集团联合研发的新型大型语言模型——LLaDA（Large Language Diffusion with mAsking），采用了一种不同于传统自回归方法的新框架，即扩散模型来构建其架构。该模型通过正向掩蔽和逆过程恢复文本分布，并运用Transformer作为预测器进行掩码处理，在优化似然下界的过程中完成生成任务的实现。LLaDA在预训练阶段利用了超过2.3万亿个标记的数据集，并借助监督微调（SFT）技术进一步提升了模型对指令的理解与执行能力。相较于传统的自回归方法，LLaDA在扩展性、上下文学习以及遵循指令方面展现出显著优势，在反向推理任务上尤为突出地克服了传统ARM面临的“反转诅咒”问题。实验结果显示，其8B参数版本的性能能够媲美如LLaMA3这样的顶级模型，进一步验证了扩散模型作为替代自回归方法的有效性与潜力。

LLaDA的核心作用

• 快速创建文字能够创造高品质且流畅的文字内容，适用于撰写文章、交流互动及创意制作等多种情境。
• 卓越的语境理解技能依据前后文迅速调整以完成新的工作。
• 遵守指示的能力能够更有效地理解与落实人的指示，适应于多回合交流、提问解答及任务实施等多种情境。
• 具备双轨逻辑思维技能克服了经典自回归模型中的”逆转换折”问题，在前向与后向推断作业上均有优异表现，如诗词续写任务中展现的能力。
• 跨多个领域的灵活性在包括语言解析、数学运算、编程技术和中文处理在内的多个领域内均有卓越表现，并展现出广泛的应用潜力。

LLaDA的核心技术机制

• 传播模型架构通过采用前向遮罩程序（渐进式地隐藏文本内的符号）及逆向复原步骤（逐次还原已遮罩的符号），对文本分布进行建模。这种方法使模型能够以非连续生成的方式创造文本，从而克服了传统依序生成模型所固有的限制。
• 遮罩预测组件采用常规的Transformer结构充当遮罩预测工具，其接收含有部分被遮罩的文字序列，并对所有的遮罩符号进行预估。这一方式使得模型能够识别出双向的数据关联性，而不局限于单一方向从左至右的信息构建过程。
• 改进似然的下限估计通过优化似然下限来训练模型的方法，在生成式建模领域具有根本性的重要意义，这种方法保证了即使面对庞大的数据集与复杂的网络结构时，也能维持良好的扩展性能及强大的样本生成能力。
• 预先训练及指导性精调LLaDA采用了结合预训练与监督微调(SFT)的方法。在预训练环节中，它通过大量未标记的文本资料来进行自我学习；而在SFT环节，则利用带有标签的数据来增强其对指令的理解和执行能力。
• 适应性强的取样方法在创建内容时，LLaDA采用了包括随机遮罩、低自信度遮罩和部分自动回归遮罩在内的多样化抽样方法，以确保生成的文本既高效又高质量。

LLaDA项目的网址

• 官方网站项目版块：访问此链接以了解相关信息 – https://ml-gsai.github.io/LLaDA
• Git存储库：可在该链接访问LLaDA的GitHub仓库 – https://github.com/ML-GSAI/LLaDA
• 关于技术的arXiv论文在该链接中展示的文档是来自arXiv的一个学术研究论文，具体内容可通过访问 https://arxiv.org/pdf/2502.09992 获取。这篇论文包含了作者最新的研究成果和理论分析。

LLaDA的使用情境

• 多次交互式沟通适用于智能客户服务和对话机器人等领域，能够实现顺畅的连续沟通。
• 文字创作适合用于写作支持和创新文案创作等领域，能够产出优质的内容文本。
• 编写程序代码协助程序员创建代码段落或改正瑕疵，提高编写程序的效能。
• 数学推论解答数学题目，并附上详细的解题过程，适用于教学场景。
• 文字转换推动多种语言的互译工作，助力跨越文化的沟通与交流。