北极星——开放源代码的商务智能AI大型模型

AI工具 2个月前 ainav
60 0

北极是什么回事呢?

Arctic是一款由云计算领军者Snowflake的AI研发团队打造的高效能、开放源码的企业级大规模语言模型。该模型拥有480亿(480B)参数规模,采用了包含128个细粒度专家混合而成的专家模型(MoE)。它在经济效益、训练效率及推理效能上展现出显著优势,特别适用于企业任务如SQL生成、编程以及指令遵循等场景。Arctic基于Apache 2.0许可证发布,提供对模型权重和源代码的公开访问,并开放了相关数据集与研究发现。

Snowflake Arctic

北极的关键特性

  • 模型尺寸Arctic配置了480亿个参数,然而在进行推理处理时,它只会启用其中的170亿个参数来优化性能和效率。
  • 技术框架该系统采用了融合设计,集成了稠密转换器(Dense Transformer)与包含128位专家的MoE架构,每位专家配备3.66亿个参数。
  • 前后文视窗在训练模型的过程中采用了大小为4K的关注范围窗口,并且有意向将其扩容到32K,以便更好地处理较长的数据序列。
  • 培训费用要达到顶尖大型模型的性能水平,Arctic的大约训练成本不超过200万美元(相当于使用少于3000个GPU周的时间)。
  • 模型授权Arctic于开源领域内以Apache 2.0许可证形式分发,支持使用者自由地利用与定制。
  • 主要应用领域专门针对企业的需求而打造,具备高效处理SQL生成、软件开发及命令执行的能力,非常适合构建个性化的企业解决方案模型。

Arctic的训练效率

北极星模型的结构设计

  • 结构构成Arctic运用了融合密集型转换器与混合专家系统的Transformer结构,这一设计巧妙地集成了 Dense Transformer 的优势及 MoE 模式的特性。
  • 变换器的紧密尺寸结构该架构内含一个由10亿个参数组成的稠密转换器模型。
  • MoE结构的大小在Arctic模型的MoE组件中,配置了128个精细专家模块,每个模块包含大约36.6亿个参数。由此,整个MoE部分累积的参数总量达到了约4700亿个参数,相当于128乘以36.6亿。
  • 总的参数数量通过融合密集变换器与专家混合模块,Arctic模型的总体参数规模达到480亿(亦为4.8万亿)个参数。
  • 选定动态变量于推理阶段,Arctic通过采用top-2门控制度,在由128位专家组成的池中甄选两位最适合的专家参与处理任务。这表明在任一时刻,大约有170亿个参数处于激活状态之中。
  • 通讯和计算相互交织为提升训练效率,Arctic的设计使能在训练时把专家之间的通讯成本与计算工作并行处理,进而掩盖了通讯带来的延迟。
  • 推断效能当处理小规模数据(例如批处理量为1)的互动式推理任务时,Arctic模型相比Code-Llama 70B减少了四分之三的内存读取次数,相较于Mixtral 8x22B则降低了60%的内存访问频率,从而显著提升了其推理效率。
  • 提升系统效能通过与NVIDIA的合作,Arctic借助TensorRT-LLM及vLLM团队的专业技术支持实现了初期的推理功能。同时,采用FP8量化方法后,现在Arctic能够在一个GPU节点上顺利执行其任务。
  • 关注范围的限定区域在进行Arctic模型训练的过程中,所采用的注意力机制上下文长度设定为4千个单元。当前研究小组正致力于通过引入基于attention-sinks技术的可移动窗口方案来增强系统的灵活性,旨在实现对无限长序列的支持,并且未来有意向将这一数值进一步提升至32K级别。

北极的表现情况

Snowflake对Arctic与其他包括DBRX、Llama、Mixtral在内的多个模型的企业级评估标准及学术评测标准进行了对比测试。结果显示,尽管Arctic在如MMLU之类的通用知识测验中可能不如某些最新模型表现优异,但它依然能在这些评测上保持较强的竞争力,并且在企业智能指标上的成绩尤为突出。

Snowflake基准测试得分

公司绩效指标相较于其他所有的开源模型,Arctic 在各项任务中均展现了卓越的性能表现。

  • 编程(Programming)利用HumanEval+及MBPP+基准评估编程技能。
  • SQL创建(SQL Creation)运用Spider标准评估SQL查询的创建效能。
  • 遵守命令(Command Adherence)IFEval评估标准用于检测执行复杂指令的能力。

关于利用Arctic的方法

Snowflake Arctic 目前已在 Hugging Face 和 Replicate 上线,并计划逐步在更多平台上提供服务,如 Snowflake Cortex、Amazon Web Services (AWS)、Microsoft Azure、NVIDIA API Catalog、Lamini、Perplexity 以及 Together 等平台。

  • 正式的项目页面:https://www.snowflake.com/cn/data-cloud/arctic/
  • Snowflake的指令型模型位于Hugging Face平台上的地址为:https://huggingface.co/Snowflake/snowflake-arctic-instruct
  • Snowflake模型的网址如下所示:https://replicate.com/snowflake/snowflake-arctic-instruct
  • Snowflake实验室在GitHub上的代码库地址为:https://github.com/Snowflake-Labs/snowflake-arctic
版权声明:ainav 发表于 2025-01-15 20:27:54。
转载请注明:北极星——开放源代码的商务智能AI大型模型 | AI导航站