英伟达发布开源9B参数AI小模型Nemotron Nano v2,性能超Qwen3六倍

AI资讯3周前发布 ainav
303 0

# 英伟达开源9B参数小模型,性能优于Qwen3,推理速度提升6倍

近日,英伟达重磅发布了NVIDIA Nemotron Nano v2开源模型,这款仅需90亿参数的小模型在推理速度上较Qwen3快出足足6倍。作为英伟达Nemotron生态的重要一环,该模型不仅性能优越,更彰显了其强大的开源决心。

## 模型亮点

**1. 性能卓越**

– **推理效率**:NVIDIA Nemotron Nano v2在保持9B参数量级的同时,在推理速度上相比Qwen3快6倍。
– **上下文支持**:支持单GPU(A10G,22GB内存)下128k token的上下文长度,展现出强大的处理能力。

**2. 模型压缩技术**

– **压缩策略**:采用基于Minitron的创新压缩方案,专门针对推理场景进行优化。该模型通过剪枝和蒸馏等技术实现高效压缩。
– **多阶段优化**:提供对齐前和剪枝后的基础模型(分别为12B和9B参数),满足不同应用场景需求。

## 预训练数据集

英伟达此次还首次开放了其高质量的预训练语料库,共计66万亿token的数据量。该数据集包含四大核心组件:

### 1. Nemotron-CC-v2

– **数据来源**:精选自Common Crawl,并新增2024至2025年的8个批次快照数据。
– **语言支持**:经过Qwen3-30B-A3B改写,提供15种语言的多样化问答对,增强多语言推理能力。

### 2. Nemotron-CC-Math-v1

– **数学专注**:整合了1330亿token的高质量数学内容,支持LaTeX格式方程保留。
– **优势特点**:在保持代码和公式完整性的同时,生成质量优于现有数学数据集。

### 3. Nemotron-Pretraining-Code-v1

– **代码精选**:源自GitHub,经过严格去重和质量筛选,涵盖11种编程语言。
– **附加问答**:包含LLM生成的高质量代码相关问答对。

### 4. Nemotron-Pretraining-SFT-v1

– **综合数据集**:整合了STEM、学术、推理和多语言领域的丰富内容。
– **精选题库**:提炼自专业学术文献,提供复杂多选题和分析题等高质量素材。

## 开源战略意义

英伟达的开源策略在AI领域独树一帜。继不久前发布的Llama Nemotron Super v1.5后,Nemotron Nano v2再次彰显了其强大的技术实力和开放态度。与诸多科技巨头转向闭源模式不同,英伟达将”开源”二字写在生态发展的核心位置。

## 试用与资源

目前,NVIDIA已提供在线试用服务,并开放了模型、数据集和技术文档等丰富资源:

– **模型下载**:访问[Hugging Face平台](https://huggingface.co/collections/nvidia/nvidia-nemotron-689f6d6e6ead8e77dd641615)获取NVIDIA Nemotron系列模型。
– **技术文档**:查阅[NVIDIA官方文档](https://research.nvidia.com/labs/adlr/files/NVIDIA-Nemotron-Nano-2-Technical-Report.pdf)深入了解模型细节。
– **试用地址**:前往[Build平台](https://build.nvidia.com/nvidia/nvidia-nemotron-nano-9b-v2)体验Nemotron Nano v2。

## 总结

此次发布的NVIDIA Nemotron Nano v2不仅展现了英伟达在AI领域的技术实力,更体现了其积极构建开源生态的决心。这一举措将如何影响AI领域格局?让我们拭目以待。

**原文地址:**
[量子位(ID:QbitAI)](https://mp.weixin.qq.com/s/fe81)

© 版权声明

相关文章