12月4日讯
近日，科技媒体Wccftech报道称，在”混合专家（MoE）”模型领域，英伟达的GB200 NVL72 AI服务器实现了重大技术突破。基于Kimi K2 Thinking、Deepseek-R1-0528和Mistral Large 3等开源大语言模型测试结果显示，相比上一代Hopper HGX 200产品，该服务器的性能指标实现了十倍级的提升。
作为一种创新性的AI大模型架构，混合专家模型（MoE）通过采用”专家团队协作”的方式处理任务。与传统模型相比，它只激活一小部分最相关的参数子集来解决问题，这种机制显著降低了计算成本，提高了处理效率。
为了解决MoE模型在扩展过程中面临的性能瓶颈，英伟达采取了独特的”协同设计”策略。该方案整合了多项领先技术：包括72颗GPU芯片的并行配置、高达30TB的快速共享内存、第二代Transformer引擎以及第五代NVLink高速互联技术。
通过这些技术的深度协同，系统能够将Token批次高效拆分并分配到各个GPU进行处理。同时，借助非线性通信速率提升和专家并行计算的技术突破，整个系统的运行效率实现了质的飞跃。
在软件层面，英伟达还推出了NVIDIA Dynamo框架。该框架通过将预填充和解码任务分配到不同GPU，成功实现了任务解耦和服务分离。这种创新性的设计允许解码阶段以大规模专家并行的方式运行，显著提升了模型的推理性能。
此外，系统采用了先进的NVFP4数据格式。这一格式在保持计算精度的同时，进一步优化了性能和效率，为整个AI计算流程提供了更高效、稳定的执行环境。
媒体分析指出，此次GB200 NVL72取得的技术突破具有重要意义。它不仅成功克服了MoE模型扩展中的计算瓶颈，还标志着英伟达在AI服务器领域建立了新的技术标杆。这一成果将推动AI算力需求的增长，并进一步巩固英伟达在全球AI服务器市场的领导地位。
相关文章
