北极星——开放源代码的商务智能AI大型模型

北极是什么回事呢？

Arctic是一款由云计算领军者Snowflake的AI研发团队打造的高效能、开放源码的企业级大规模语言模型。该模型拥有480亿（480B）参数规模，采用了包含128个细粒度专家混合而成的专家模型（MoE）。它在经济效益、训练效率及推理效能上展现出显著优势，特别适用于企业任务如SQL生成、编程以及指令遵循等场景。Arctic基于Apache 2.0许可证发布，提供对模型权重和源代码的公开访问，并开放了相关数据集与研究发现。

北极的关键特性

• 模型尺寸Arctic配置了480亿个参数，然而在进行推理处理时，它只会启用其中的170亿个参数来优化性能和效率。
• 技术框架该系统采用了融合设计，集成了稠密转换器（Dense Transformer）与包含128位专家的MoE架构，每位专家配备3.66亿个参数。
• 前后文视窗在训练模型的过程中采用了大小为4K的关注范围窗口，并且有意向将其扩容到32K，以便更好地处理较长的数据序列。
• 培训费用要达到顶尖大型模型的性能水平，Arctic的大约训练成本不超过200万美元（相当于使用少于3000个GPU周的时间）。
• 模型授权Arctic于开源领域内以Apache 2.0许可证形式分发，支持使用者自由地利用与定制。
• 主要应用领域专门针对企业的需求而打造，具备高效处理SQL生成、软件开发及命令执行的能力，非常适合构建个性化的企业解决方案模型。

北极星模型的结构设计

• 结构构成Arctic运用了融合密集型转换器与混合专家系统的Transformer结构，这一设计巧妙地集成了 Dense Transformer 的优势及 MoE 模式的特性。
• 变换器的紧密尺寸结构该架构内含一个由10亿个参数组成的稠密转换器模型。
• MoE结构的大小在Arctic模型的MoE组件中，配置了128个精细专家模块，每个模块包含大约36.6亿个参数。由此，整个MoE部分累积的参数总量达到了约4700亿个参数，相当于128乘以36.6亿。
• 总的参数数量通过融合密集变换器与专家混合模块，Arctic模型的总体参数规模达到480亿（亦为4.8万亿）个参数。
• 选定动态变量于推理阶段，Arctic通过采用top-2门控制度，在由128位专家组成的池中甄选两位最适合的专家参与处理任务。这表明在任一时刻，大约有170亿个参数处于激活状态之中。
• 通讯和计算相互交织为提升训练效率，Arctic的设计使能在训练时把专家之间的通讯成本与计算工作并行处理，进而掩盖了通讯带来的延迟。
• 推断效能当处理小规模数据（例如批处理量为1）的互动式推理任务时，Arctic模型相比Code-Llama 70B减少了四分之三的内存读取次数，相较于Mixtral 8x22B则降低了60%的内存访问频率，从而显著提升了其推理效率。
• 提升系统效能通过与NVIDIA的合作，Arctic借助TensorRT-LLM及vLLM团队的专业技术支持实现了初期的推理功能。同时，采用FP8量化方法后，现在Arctic能够在一个GPU节点上顺利执行其任务。
• 关注范围的限定区域在进行Arctic模型训练的过程中，所采用的注意力机制上下文长度设定为4千个单元。当前研究小组正致力于通过引入基于attention-sinks技术的可移动窗口方案来增强系统的灵活性，旨在实现对无限长序列的支持，并且未来有意向将这一数值进一步提升至32K级别。

北极的表现情况

Snowflake对Arctic与其他包括DBRX、Llama、Mixtral在内的多个模型的企业级评估标准及学术评测标准进行了对比测试。结果显示，尽管Arctic在如MMLU之类的通用知识测验中可能不如某些最新模型表现优异，但它依然能在这些评测上保持较强的竞争力，并且在企业智能指标上的成绩尤为突出。

公司绩效指标相较于其他所有的开源模型，Arctic 在各项任务中均展现了卓越的性能表现。

• 编程（Programming）利用HumanEval+及MBPP+基准评估编程技能。
• SQL创建（SQL Creation）运用Spider标准评估SQL查询的创建效能。
• 遵守命令（Command Adherence）IFEval评估标准用于检测执行复杂指令的能力。

关于利用Arctic的方法

Snowflake Arctic 目前已在 Hugging Face 和 Replicate 上线，并计划逐步在更多平台上提供服务，如 Snowflake Cortex、Amazon Web Services (AWS)、Microsoft Azure、NVIDIA API Catalog、Lamini、Perplexity 以及 Together 等平台。

• 正式的项目页面：https://www.snowflake.com/cn/data-cloud/arctic/
• Snowflake的指令型模型位于Hugging Face平台上的地址为：https://huggingface.co/Snowflake/snowflake-arctic-instruct
• Snowflake模型的网址如下所示：https://replicate.com/snowflake/snowflake-arctic-instruct
• Snowflake实验室在GitHub上的代码库地址为：https://github.com/Snowflake-Labs/snowflake-arctic