SmolLM2 —— 由Hugging Face开发的精简版大型语言模型

SmolLM2指的是什么？

Hugging Face近期发布了专为终端应用设计的小型化大型语言模型——SmolLLM2，该系列提供三种不同规模的版本：1.7B参数版、360M参数版以及135M参数版，以满足多样化应用场景和资源条件的需求。这些模型在处理指令理解与执行、知识推理及数学问题解决上取得了显著的进步。借助监督微调和超反馈优化技术的应用，SmolLLM2能够更精准地解析并回应复杂的命令，并且在文本重写、摘要生成以及函数调用等任务中表现出色。这一特性使得SmolLLM2特别适用于需要本地设备高效语言处理能力的场景，例如智能助手、聊天机器人以及其他依赖自然语言理解技术的终端服务。

SmolLM2的核心特性

• 内容重组SmolLLM2能够重新组织文本，使其更为简洁或者满足特定的风格与需求。
• 创建文摘该模型具备从长篇幅的文字材料中抽取核心要点的能力，并能够据此形成摘要。
• 调用函数SmolLLM2具备函数调用的功能，这对于自动化编码辅助工具或是需与现存软件实现平滑对接的个性化人工智能应用尤为关键。
• 在设备上执行SmolLLM2可以在本地设备中运作，不需借助云端设施，特别适用于对延迟时间、数据保密及硬件条件有严格要求的应用环境。
• 同时执行多项任务该模型经过优化以适应各类自然语言处理工作，并适用于多样化应用软件，在与云端服务连接不便的设备中尤为适用。

SmolLM2的运作机制

• 培训后期技术SmolLLM2系列采用了高级的后期训练方法，包括监督下的精细调整(SFT)及直接偏好优化(DPO)，这些技术提升了模型理解和执行复杂任务的能力，并增强了其回答的精确性。
• 兼容性框架SmolLLM2能够与llama.cpp及Transformers.js等多个框架协同工作，在各类设备上实现高效的运算性能，无论是依赖本地CPU进行计算还是在浏览器环境下操作，都不需要特定的GPU支持。
• 利用数据集进行模型训练SmolLLM2经过了使用来自FineWeb-Edu、DCLM及Stack等多个数据集总计包含1.1兆标记的数据训练，内容范围广泛，并且重点集中在英语材料上。
• 架构设计SmolLLM2的135M及360M版本采用了与MobileLLM相近的设计理念，并融入了Grouped-Query Attention架构；而其1.7B规模的模型则沿用了较为经典的设计思路。这些模型均应用了embedding共享技术，支持长达2048个token的上下文长度。

SmolLM2的仓库位置

• HuggingFace的模型集合库访问此链接以查看Hugging Face上的特定集合：https://huggingface.co/collections/HuggingFaceTB/smollm2-6723884218bcda64b34d7db9

SmolLM2的使用情境

• 终端应用程序SmolLLM2旨在于资源受限的装置上运作，例如智能手机或是边缘计算设备，并不需倚赖云端基础架构。
• 对延迟的敏感性和对隐私的保护适用于需要低延迟和严格保护数据隐私的场景，例如边缘人工智能应用。
• 文档操作作业涵盖文本重构、摘要创建及函数调用等功能，尤其适用于云服务接入有限的设备。
• 自动化编码辅助工具推荐使用能够与当前软件系统流畅结合的自动化编程辅助工具或个性化人工智能应用，尤其是在需求涉及函数调用的情境下。
• 自然语言处理作业在广泛的自然语言处理工作中表现优异，适用于要求即时设备处理的场景。