中国电信实现国产算力跨架构大模型推理技术验证，英伟达昇腾沐曦芯片无缝运行

12月12日讯息，通信产业网今日报道显示，中国电信研究院携手中国科学院计算技术研究所、华为昇腾、沐曦等多家企业，在中国电信云网融合技术中试验证平台上取得重要突破。

作为项目主导单位，中国电信研究院正式启动了”Trulton 统一跨架构推理框架”的技术攻关项目。通过自主研发的Trulton 跨架构编译器和统一大模型算子库，成功实现了同一套算子源码在英伟达、昇腾、沐曦三大芯片平台上的无缝运行。

此次技术验证涵盖10余款主流开源模型，在三类芯片平台上完成了完整的端到端推理测试，取得了令人满意的成果：

• 实现了不到三天的平均迁移时间，较传统适配模式效率提升了超过80%；

• 将精度误差严格控制在0.5%，确保了模型推理的高度可靠性；

• 在相同的延迟约束条件下，系统吞吐量达到了各芯片原生算子库的90%以上，实现了性能与适配效率的双重提升。

此外，该框架还配备了专业的benchmark与Profiling工具，能够自动生成跨芯性能对比报告，为业务决策提供了有力支持，帮助用户做出最优选芯方案。

注：作为中国电信集团的核心研发机构，中国电信研究院致力于探索和突破多个前沿技术领域，包括但不限于：6G通信、光网络技术以及卫星通信等关键核心技术。