Meta发布的适用于移动设备的语言模型MobileLLM

MobileLLM指的是什么？

Meta开发了专门针对移动设备应用场景优化设计的大型语言模型MobileLLM，该模型拥有少于十亿个参数，并能有效应对云计算成本增加和延迟的问题。通过采用深层稀疏架构、嵌入共享及分组查询注意力机制等策略，MobileLLM确保在保持低至一亿多个参数量的同时提供高质量的语言处理能力。测试显示，在零样本常识推理任务上，如MobileLLM-125M/350M这样的版本比之前的模型有显著的准确率提升；同时，在聊天基准和API调用场景中，整个MobileLLM系列相较于较小规模的模型展现了明显的性能优势，并且其准确性与拥有七亿参数的LLaMA-v2相当。这充分展示了小尺寸语言模型在日常移动设备应用场景中的巨大潜力。

MobileLLM的核心特性

• 言语的解析和创作具备理解与创造自然语言的能力，并能够处理涉及多语种的各种任务。
• 无实例常识推断在缺乏专门训练的前提下，处理需借助日常知识推断的题目。
• 对话交流在对话系统里实现顺畅的人机互动，能够理解并回答用户的疑问。
• 调用接口通过把自然语言命令转化为API请求来完成与后台服务的互动。
• 文档重构及概要生成提供文本的重新编写及概要创建服务，旨在提升信息管理的速度与效果。
• 解答数学题目拥有处理数学题目技能，能够理解并完成数学运算。

MobileLLM的核心技术机制

• 深层次与轻量级结构：MobileLLM采用了一种深层次少参数的设计理念，通过增加网络深度同时减少整体参数量的方式，使得该模型能够更好地捕捉到高层次的抽象信息。
• SwiGLU激励函数采用SwiGLU激活函数来代替常规的ReLU激活函数，能够增强模型处理非线性数据的能力。
• 集成分享输入与输出的嵌入层使用相同的权重，这样可以降低模型的参数数量，并且能够维持或者增强模型的表现。
• 基于群组的查询关注模型降低键值对头部的总数，并实现它们的复用，改进注意力机制以增强模型性能。
• 层级间的区块共用通过在临近的模型区块间共用权重参数，可以防止权重数据在不同的内存层级中反复传输，从而降低处理时延。
• 评估相容性该模型采用了量化技术，比如使用W8A8（即权重与激活值均为8位）的方式，在保证其效能的同时，使得它能够在硬件资源有限的设备上顺利执行。

MobileLLM项目的网址

• Git存储库：在GitHub上可以找到由Facebook研究部门开发的MobileLLM项目。链接如下：https://github.com/facebookresearch/MobileLLM
• HuggingFace的模型集合库访问此链接以查看Hugging Face平台上由Facebook整理的MobileLLM集合：https://huggingface.co/collections/facebook/mobilellm-6722be18cb86c20ebe113e95
• arXiv科技文章在学术论文数据库中可以找到这篇编号为2402.14905的文献。

MobileLLM的使用情境

• 手机通信软件于移动通讯软件内，MobileLLM具备实时语言解析和生产功能，使用户能够与聊天机器人开展顺畅交流。
• 声音辅助工具嵌入至智能手机及各类便携装置中的语音助手能够根据用户的日常语言指令来完成各种操作，包括设定提醒和查找资料等功能。
• 内容筛选与建议在内容推送系统里，MobileLLM能够识别用户的喜好与倾向，并给出定制化的内容建议。
• 学习软件在教学应用领域里，MobileLLM扮演着语言学习辅助工具的角色，它协助使用者掌握新的语言技能，并给予语法修正及发音引导的支持。
• 手机查找在手机搜索引擎里，MobileLLM通过智能化的搜索提示与详尽的结果解析，助力用户迅速定位到他们需要的信息。