微软发布小参数语言模型

Mu是什么

微软推出的轻量级语言模型Mu，以其仅3.3亿参数的精简架构，在NPU和边缘设备上实现了高效的运行能力。该模型采用编码器-解码器架构，并通过硬件感知优化、模型量化及特定任务微调等技术手段，实现了每秒超100 tokens的快速响应速度。Mu的一大特色是其在Windows系统中的智能体应用功能，能够将自然语言指令即时转化为系统操作，例如调节屏幕亮度或调整鼠标指针大小等功能。

与Phi3.5-mini相比，尽管参数量减少了十倍，但Mu在性能上却表现得丝毫不逊色。这一突破得益于其多项创新技术：双重层归一化（Dual LayerNorm）提升了训练的稳定性，旋转位置嵌入（Rotary Positional Embeddings, RoPE）优化了长序列处理能力，而分组查询注意力机制（Grouped-Query Attention, GQA）则显著提高了模型的推理效率。

Mu的主要功能

• 系统设置调整：用户可以通过自然语言指令直接调节系统设置，例如“将鼠标指针调大一些”或“降低屏幕亮度”。这种直观的交互方式极大提升了操作便捷性。
• 低延迟响应：Mu在设备端实现了超低延迟的响应速度，每秒可处理超过100 tokens，确保了流畅的用户体验。
• 深度系统集成：作为Windows设置功能的一部分，Mu被无缝集成到搜索框中。用户只需输入自然语言指令，系统即可自动识别并执行对应的操作，无需额外跳转或操作步骤。
• 广泛的设置支持：Mu能够处理数百种系统设置选项，涵盖了用户日常使用中的绝大多数需求场景。

Mu的技术原理

• 创新的架构设计：Mu采用了经典的编码器-解码器架构，其中编码器负责将输入文本转换为固定的潜在表示形式，而解码器则基于这些表示生成相应的输出。
• 硬件感知优化：针对NPU硬件特点进行了专项适配，包括调整模型结构和参数布局以匹配硬件的并行计算能力及内存限制。这种针对性优化确保了在边缘设备上的高效运行。
• 高效的模型量化：通过后训练量化（PTQ）技术将模型权重和激活值转换为8位或16位整数表示，大幅降低了内存占用和计算开销，同时保持了高准确度。
• 先进的Transformer升级：
  • 双重层归一化（Dual LayerNorm）：在每个子层的前后均添加LayerNorm操作，确保激活值的分布稳定，从而显著提升了训练过程的稳定性。
  • 旋转位置嵌入（Rotary Positional Embeddings, RoPE）：通过复数域的旋转操作生成位置编码，突破了传统绝对位置编码在长序列处理上的局限性，增强了模型对序列长度的外推能力。
  • 分组查询注意力（Grouped-Query Attention, GQA）：采用头组间共享键和值的方法，在减少内存占用的同时，保持了各个头的多样性，从而提高了整体效率。
• 高效的训练方法：利用A100 GPU进行预训练，并通过从Phi模型的知识蒸馏和基于低秩适配（LoRA）技术的特定任务微调，进一步优化了模型性能。