OLMo —— 由艾伦人工智能研究院发布的全面开放大语言模型架构

什么是OLMo？

Open Language Model (OLMo) 是艾伦人工智能研究所（AI2）打造的一个全面开源的语言模型架构。其主要目的是借助开放的研究环境，推动学术界和研究者们协同探究语言模型背后的科学原理。该框架配备了丰富的资源组合，如数据集、训练脚本、预训练权重及评估软件工具等，旨在助力科研人员深化对语言模型的理解与优化工作。

访问OLMo的官方门户入口

• 官方网站地址：https://allenai.org/olmo
• 代码仓库地址：https://github.com/allenai/olmo
• AllenAI的OLMo-7B模型可在Hugging Face平台上找到，其链接为：https://huggingface.co/allenai/OLMo-7B
• 研究报告：https://allenai.org/publication/olmo-study.pdf

OLMo的核心特性

• 海量预先训练资料利用以AI2为基础的Dolma数据集，这一拥有3万亿标签的巨大公开语料库，为模型供应了极其丰富多样的语言学习资源。
• 多种形态的模型变异版OLMo架构提供了四个大小各异的模型版本，每个版本都接受了不少于两万亿tokens的培训过程。这样的设计给予科研人员灵活的选择空间，以便更好地满足多样化的研究目标。
• 全面的培训与评价资料除了模型参数外，OLMo还分享了详尽的训练记录、绩效数据以及超过500个的不同阶段快照，这些资料能够辅助研究者深入剖析模型的成长轨迹及其效能表现。
• 公开性和明晰度所有关于OLMo的代码、权重及中间检查点均在Apache 2.0许可协议下公开发布，这使得科研人员能够自由地利用、调整并传播这些资料，从而推动知识分享与创新进程。

OLMo的模型效能

根据OLMo论文的报告，在零样本（zero-shot）评估中，OLMo-7B模型的表现与其他几个模型进行了比较，涉及的对比对象有Falcon-7B、LLaMA-7B、MPT-7B、Pythia-6.9B、RPJ-INCITE-7B以及同样为LLaMA系列的另一版本。

下面是关于OLMo-7B在若干关键任务上对比分析的结果：

1. 对下游应用的性能评价OLMo-7B于9项关键任务的零样本评测中展现出色，尤其在解决科学疑问及因果关系推断两项中独占鳌头，并且在其余8个评估项目中均名列前茅。这一表现突显了OLMo-7B在这类任务中的强大竞争力。
2. 利用困惑度进行评价在Paloma评估体系中，OLMo-7B于多个数据集上的困惑度（以每字节比特为单位）表现出了较强的竞争力。尤其是在涉及代码的数据集（例如Dolma 100 Programming Languages）上，该模型的表现明显超越了其他竞争对手。
3. 附加任务评价在进行零样本评估时，OLMo-7B于额外的六个任务（包括headqa en、logiqa、mrpcw、qnli、wic和wnli）上的性能也表现出色，要么超越要么与其它模型持平。