清华开源大模型推理引擎”赤兔” 成本减半性能翻倍

重磅发布！清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智今日联合宣布，自主研发的大模型推理引擎”赤兔 Chitu”正式开源。

据介绍，该引擎在大语言模型推理领域实现了重大技术突破。它首次实现在非英伟达 Hopper 架构 GPU 以及各类国产芯片上原生运行 FP8 精度模型，使得 DeepSeek 的推理成本显著降低50%的同时性能提升100%。

• **多平台兼容性**：全面支持 NVIDIA 全系列 GPU 产品（从最新旗舰到老旧型号），同时针对国产芯片进行了深度优化适配。

• **全场景扩展能力**：无论是纯 CPU 环境、单 GPU 部署，还是大规模集群运行，赤兔引擎都能提供最优的扩展解决方案。

• **生产级稳定性**：经过严格测试和优化，可稳定应用于实际生产环境，具备处理高并发业务流量的能力。

据官方测试数据显示，在部署 DeepSeek-R1-671B 模型的满血版本时，使用赤兔引擎在 A800 集群环境下，相比部分国外开源框架展现出显著优势：GPU 资源占用降低50%的同时，推理速度提升了3.15倍。

**立即访问开源地址**：https://github.com/thu-pacman/chitu