ByteBeanbag —— 字节豆包大模型团队创新发布的极低密度模型结构

UltraMem指的是什么

ByteDance Dou包大模型团队近期推出了一种创新性的超稀疏架构——UltraMem，旨在解决传统MoE结构在推理过程中遇到的大容量内存访问问题。该架构通过对内存访问和计算效率的优化，在显著降低运行成本的同时，使得推理速度较之传统的MoE提高了2到6倍，并将最高成本降低了83%。UltraMem的核心技术亮点在于：引入了多层次改进策略，把大尺寸的记忆层分解为若干小规模记忆层并分布于Transformer层级之中，同时通过添加跨层操作实现计算的平行处理；优化值检索方法，采用Tucker分解查询键检索（TDQKR）以增强搜索精确度；以及利用隐式稀疏参数扩展技术(IVE)，借助虚拟与物理内存的概念降低显存和部署成本。实验数据显示，在不同规模激活参数条件下，UltraMem均表现出了显著的性能优越性，并且随着稀疏参数数量的增长，其扩展能力超越了MoE结构。

UltraMem的核心作用

• 减少推理开销借助优化的内存访问策略，UltraMem大幅减少了推理过程中对存储的需求，使得推理的成本最多能够下降83%。
• 加快推理解答的速度相较于传统MoE架构，UltraMem在推理效率上提高了2到6倍，并且在常规batch大小情况下，其内存访问开销接近于同等计算规模的密集模型。
• 改进内存管控：借助稀疏计算与有选择性的参数激活机制，UltraMem 在推理阶段显著降低了对内存的需求，从而有效地规避了内存限制的问题。
• 提供对大型模型的支持此框架开启了创建大规模value或expert模型的新途径，并且具有出色的可扩展性特点。
• 维持模型的表现效果当参数与触发标准一致时，UltraMem 在降低推理开支方面表现出色，并且其模型性能优于 MoE。

AdvancedMemory的核心工作机制

• 稀疏运算及参数独立处理UltraMem 利用稀疏计算技术分离了计算过程与参数存储。它只启动那些对当前任务至关重要的特定参数部分，而非像传统的MoE方法那样，在推断过程中启动所有的专家模型。这极大地减少了内存读取的需求。
• 改进的记忆存取方案UltraMem 创新地使用了大型超稀疏存储层技术，通过仅激活少数关键参数来规避推断过程中的内存限制问题。这一策略使得 UltraMem 在标准批次大小下，其内存访问开销几乎等同于具有相同计算需求的密集型模型。
• 平行处理架构：借助于计算图的优化与先进算法的应用，UltraMem 实现了多推理任务的同时执行。其并行处理架构提升了资源使用效率，并显著增强了推理速率。
• Tucker分解用于查询键的搜索（TDQKR）UltraMem 利用一种更为精细的计算手段——Tucker 分解查询键搜索（TDQKR）来提升值检索的过程。此技术借助于拆分查询与键之间的相互作用，显著增强了检索的准确性和速度。
• 隐形拓展稀疏要素(IST)UltraMem 引入了隐形拓展稀疏参数（IVE）方法，借助虚拟与物理内存的理念，在不对显存造成额外压力的前提下，实现了对稀疏参数的有效扩充，并进而增强了模型的表现力及可扩展性。
• 采用分层架构方案UltraMem 把庞大的内存层级细分成若干较小的记忆模块，并按一定的间距嵌入到各个Transformer层次之中。这样的设计能够让系统同时进行记忆模块的数据访问与Transformer层次的运算处理，从而提升了系统的总运行效率。

UltraMem项目的仓库位置

• arXiv科技文章在该链接中提供的文档是一个学术论文的PDF版本，具体位置可以在https://arxiv.org/pdf/2411.12364找到。

UltraMem的使用情境

• 即时推理解析情境UltraMem 特别适合应用于需较低延迟的推理环境，如编程自动完成功能及智能化客户支持服务。此类应用要求系统能够迅速反馈用户的请求信息，而 UltraMem 凭借其出色的快速响应能力，可以大幅改善用户的服务体验。
• 大型模型的实施与应用由于其卓越的推理性能和较低的记忆访问开销，UltraMem 成为了部署大型语言模型（LLM）的一个优选方案。当创建包含数十亿参数的价值或专家模型时，在有限的计算能力范围内，UltraMem 能够保持出色的效能表现。
• 财经行业于金融业中，UltraMem 适用于管理信贷资产及进行风险评估。借助其精确辨识用户目的与风险特性，UltraMem 可助金融企业达成成本节约与效率提升的目标。
• 电力与能源领域于能源行业而言，UltraMem 广泛适用于设施维护检查、电力市场客户服务及可再生能源发电量预估等方面。凭借其卓越的数据管理和智能分析功能，UltraMem 有助于更合理地调度资源，并提高整体的能效水平。
• 制造业智能化于工业自动化的领域内，UltraMem 能够应用于设备故障预警与生产工艺的改进之中。凭借其卓越的数据处理效能，UltraMem 快速解析海量工业信息，助力达成智能生产的高效管控。