寒武纪开发的PyTorch扩展模块Torch-MLU，实现大模型快速转移

Torch-MLU指的是什么？

Torch-MLU 是由寒武纪开放源代码的一款针对 PyTorch 的设备后端扩展插件，它让开发者能够利用寒武纪 MLU 系列智能加速卡来增强 PyTorch 应用的性能。该插件实现了对 PyTorch 的内置支持，使得基于 GPU 开发的深度学习模型可以轻松迁移到寒武纪 MLU 加速器上运行，并能显著提高这些模型在训练和推理过程中的效率。通过开放 Torch-MLU 源代码，寒武纪为全球开发者提供了一个更加灵活且高效的开发平台，进一步推动了人工智能生态系统的共同建设和发展。

Torch-MLU的核心特性

• 本机支持的 PyTorch 版本允许开发者无需改动 PyTorch 主要源码即可利用寒武纪 MLU 设备执行深度学习模型的训练与推断任务。
• 设备后台拓展作为一种为 PyTorch 扩展的设备后端，Torch-MLU 允许在 MLU 设备上运行 PyTorch 操作，从而让 PyTorch 可以充分利用 MLU 的处理性能。
• 模型转移提供了一种方案，可以便捷地把依赖于GPU的深度学习架构转移到MLU硬件上，从而大大简化了从GPU环境向MLU平台过渡的过程。
• 提升效能通过对操作和算法进行定向优化以适应 MLU 硬件，提升模型在 MLU 设备上的执行效率。

Torch-MLU的核心技术机制

• PyTorch 的后端拓展方法Torch-MLU 作为 PyTorch 后端的扩展，通过实现一系列针对硬件的操作（Ops），确保了可以在寒武纪 MLU 硬件平台上运行PyTorch的计算任务。它让开发者能够借助 PyTorch 提供的高级 API 来构建模型，并在底层充分调动MLU 的处理性能。
• 针对具体设备的运算符实现当在 MLU 设备上运行深度学习模型时，Torch-MLU 为该硬件提供了专门优化的操作实现，涵盖诸如卷积操作、矩阵运算和激活函数等功能。
• 优化计算图Torch-MLU 通过优化计算图，例如实现操作符融合和去除多余的计算步骤等方式，来增强模型在 MLU 设备上的运行效能。
• 自动化混合精度计算（Auto-MP）为了同时加快训练速率、降低内存消耗并维持模型的准确度，Torch-MLU 引入了自动化混合精度训练功能。该技术通过灵活运用全精度与半精度的浮点数值，在模型训练期间智能切换数据处理的精确水平。

Torch-MLU的仓库位置

• 代码托管平台GitLab存储库：在GitHub上可以找到Cambricon团队维护的torch_mlu项目页面。
• 代码仓库平台GitEe存储库：访问该项目的地址为 https://gitee.com/cambricon/torch_mlu

Torch-MLU的使用情境

• 深入探索学习的科学研究与发展工作科研工作者与开发者们利用 Torch-MLU，在寒武纪的 MLU 设备上执行深度学习模型的训练及预测任务，涵盖领域有计算机视觉、自然语言理解以及语音辨识等。
• 大规模模型的训练过程针对需要庞大计算能力的大规模神经网络模型，Torch-MLU 能够实现有效的硬件提速，从而加快训练速度并缩短开发时间。
• 智能化的视频解析在处理与分析视频数据时，如应用于视频监控、内容审查及面部识别等领域，Torch-MLU 显著提升了效率。
• 语音的辨识及生成技术Torch-MLU旨在优化语音识别及合成模型的表现，并加速相关音频处理工作的执行速度。
• 建议系统在电子商务和社交网络等领域中的推荐系统里，Torch-MLU 加速了推荐算法的培训与实施过程。