Meta最新发布的开源大型语言模型Llama 3

78 0 0

Llama 3指的是什么？

Meta公司最近开源发布了其新一代大型语言模型Llama 3，该系列包含80亿参数与700亿参数两种规格的模型版本，这一举措再次推动了开源人工智能领域的发展进程。作为Llama家族的最新成员，Llama 3不仅沿袭了上一代产品的优异性能，并通过多项创新和优化升级，提供了更加高效且可靠的AI解决方案。其目的是利用先进的自然语言处理技术来服务于广泛的使用场景，如编程支持、问题解答、翻译服务及对话系统等。

Llama 3的一系列产品型号

当前，Llama 3推出了两个版本：一个包含80亿个参数（称为8B），另一个则拥有700亿个参数（标记为70B）。这两个版本的设计目的是为了适应各种应用的需求水平，从而给用户带来更多的灵活性和选择空间。

Llama-3的80亿参数版本这款具备80亿参数的轻量级高效模型，特别适用于那些要求迅速得出结论且运算资源有限的使用场合，在维持高性能表现的同时降低了对计算能力的需求。
Llama-3-七十亿版这款具备700亿参数的大型模型显著提升了其处理复杂任务的能力，并在语言的理解与创造方面达到了新的高度，特别适用于那些需要高性能支持的应用场景。

接下来，Llama 3 将会有一个包含400亿参数的版本问世，该版本当前正处于开发阶段。此外，Meta 公司还透露，在Llama 3的研发工作完成后，他们计划公布一篇详尽的技术研究报告。

访问Llama 3的官方主页入口

官方项目网站访问该模型的网页地址为：https://llama.meta.com/model_v3/
GitHub上的模型参数与源码在GitHub上的这个链接展示了meta-llama团队的项目主页：https://github.com/meta-llama/llama3
来自Hugging Face的模型你可以访问这个链接来查看关于meta-llama的相关集合信息：https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6

Llama 3的提升方面

模型的参数量Llama 3推出了包含80亿与700亿参数的不同版本，相较于Llama 2，其更大的参数量让该模型具备了理解和掌握更为复杂语言结构的能力。
培训数据集合相较于Llama 2，Llama 3的训练数据集扩大到了原来的七倍多，总量超过了15万亿个token，并且其中包含了四倍于前代的代码数据量，从而显著提升了其对代码的理解与生成能力。
框架设计Llama 3通过应用更加高效的标记化工具及分组查询注意力（GQA）技术，显著提升了其在推理速度上的表现以及对长篇幅文本的处理能力。
效能增强经过优化的预训练与微调流程，Llama 3在降低误拒率、增强回应一致性及扩大输出多样性上获得了显著改善。
安全性能采用了包括Llama Guard 2在内的新型信任与安全工具，并加入了Code Shield及CyberSec Eval 2，进一步提升了系统的安全性能与稳定度。
多种语言兼容性支持Llama 3在预训练阶段引入了逾30种语言的优质非英文资料，这为其日后具备多种语言的能力奠定了基石。
推断与程序创建Llama 3显著增强了其在逻辑推理、编码生成及命令执行等领域的性能，这使得它能够更精确且高效地应对复杂的作业挑战。

对Llama 3的表现进行评测

依据Meta官方博客的信息，经过指令调整的Llama 3 8B模型在MMLU、GPQA、HumanEval、GSM-8K和MATH等基准测试数据集中表现优于参数量相同的其他模型如Gemma 7B及Mistral 7B。同时，调整后的Llama 3 70B版本也在包括MMUL、HumanEval以及GSM-8K在内的多个评估标准中超越了同类规模的Gemini Pro 1.5和Claude 3 Sonnet模型的表现。

此外，Meta还创建了一个包含1800个提示的新高质量人工评价数据集，这些提示涉及12种关键应用场景：寻求建议、创意构思、分类任务、封闭问答、编程工作、创造写作内容、信息提取、角色塑造与开发、开放性问题解答、逻辑推理分析、文本重写以及摘要生成。通过将Llama 3与Claude Sonnet, Mistral Medium和GPT-3.5等模型进行对比，基于上述评价数据集的人工评估者进行了偏好排序。结果显示，在实际应用场景中，Llama 3的表现尤为突出，最低胜出率为52.9%。

Llama 3的科技框架

解码结构设计Llama 3运用了解码器单一结构（decoder-only architecture），这种设计源于经典的Transformer模型框架，特别适用于执行自然语言生产相关的任务。
词语分割工具与词汇规模Llama 3配备了包含128K个token的分词器，这一设计让模型在处理语言时更加高效，大幅提升了其表现能力。
群组询问关注（Grouped Inquiry Attention, GIA）为提升推理速度，Llama 3在其8亿参数和70亿参数的版本里应用了GQA方法。该方法通过对注意力机制里的查询进行分类组合来降低计算需求，并且能够维持模型的表现水平。
处理长时间序列数据Llama 3能够处理最多包含8,192个token的序列，并采用掩码技术来保障自注意力机制不越界于文档限制之外，这一点在管理较长文本时显得尤为关键。
预先构建的训练数据集合Llama 3经过了基于逾15TB token的数据集的预训练处理，该数据集合不仅体量庞大，内容也极其优质，极大地丰富了模型的语言理解能力。
多种语言的数据Llama 3的预训练数据集中包含着超出5%比例的优质非英文资料，并且这些资料跨越了三十多种不同的语言，以此来增强其多语言处理能力。
数据筛选与品质管理在Llama 3的研发过程中，其开发小组设计了一套包含启发式筛选工具、不适宜办公环境内容拦截机制、语义重复消除技术和文本归类模型的数据净化流程，旨在保证用于训练的数据集具备高水准的质量。
可扩展性与平行处理能力在Llama 3的开发阶段，运用了数据平行处理、模型平行处理及管道平行处理的技术手段，这有效提升了该模型利用多GPU资源进行训练的效率。
指导性微调整（Guidance Micro-Adjustment）Llama 3基于预训练模型，并通过指令微调优化了其在特定任务中的性能，包括对话和编程等方面。

怎样操作Llama 3

编程者

Meta已经将其Llama 3模型在GitHub、Hugging Face及Replicate平台上公开发布，开发人员能够利用诸如torchtune之类的工具来调整与优化Llama 3，使之符合特定的应用场景和需求。对于有兴趣的开发者而言，可以通过查阅官方提供的入门文档来进行下载和部署操作。

获取官方提供的模型文件访问该模型的下载页面，请前往：https://llama.meta.com/downloads-llama
Git仓库链接：可以在Meta-Llama的GitHub仓库中找到相关信息，链接如下所示——https://github.com/meta-llama/llama3/
Hugging Face网址访问此链接以探索由Meta开发的LLaMA模型集合：https://huggingface.co/meta-llama
复制链接：在Meta的复制品平台上可访问的内容为 https://replicate.com/meta 提供。