5月29日，中国科学报报道指出，我国科学家团队成功研发出一种新型混合并行算法——GroPipe。该算法首次实现了流水线模型并行与数据并行的有机结合，在AI训练速度方面取得显著突破，使训练效率近乎翻倍。
据相关博文介绍，这一创新性研究由西北农林科技大学信息工程学院智能计算与农业信息系统团队主导完成。该团队在刘斌教授的带领下，联合美国纽约州立大学和云南大学的研究人员共同开展攻关，并将研究成果发表于国际计算机体系结构领域顶级期刊《IEEE Transactions on Computers》（CCF A类）。
论文的署名显示，西北农林科技大学刘斌教授为第一作者，纪泽宇老师与云南大学何臻力副教授共同担任通讯作者。研究团队还得到了纽约州立大学李克勤教授的重要支持。值得一提的是，李克勤教授是欧洲科学院院士，在并行与分布式计算领域享有盛誉。
研究发现，随着深度卷积神经网络（DCNNs）模型规模的不断扩大，训练所需的数据集也日益增长，这导致传统方法在提升模型精度的同时，训练时间变得异常漫长。现有的数据并行（DP）和流水线模型并行（PMP）等分布式训练方案虽然提供了解决思路，但仍面临着负载不均衡和通信开销过大的技术难题。
针对上述问题，研究团队创新性地提出了GroPipe算法架构。该方法将数据并行与流水线模型并行有机结合，引入基于性能预测的自动模型分割技术，实现了负载均衡优化，并为PMP模式下的性能评估提供了量化标准。
该方法创新性地构建了“组内流水线 + 组间数据并行”的分层训练架构，并通过自动模型划分算法（AMPA）实现了计算负载的动态均衡调度，从而显著提升了GPU资源的使用效率。
在8-GPU服务器的实际测试中，GroPipe方法展现出色性能。在ImageNet数据集上，ResNet系列模型平均加速比达到42.2%，VGG系列更是高达79.2%；而在BERT-base模型训练中，性能提升最高可达51%，充分验证了该算法的优越性。
以下是相关参考链接
-
AI训练速度翻倍！我国科学家发明混合并行新算法
-
GroPipe: A Grouped Pipeline Hybrid Parallel Method for Accelerating DCNNs Training
相关文章
