| 层 | 作用 | 代表 |
|---|---|---|
| 前端(Frontend) | 把 PyTorch / JAX / TF graph 解析为 IR | TorchScript · ONNX · Dynamo |
| 中层(Mid-tier) | 图优化 + 算子融合 + 自动并行 | Glow · XLA · TensorRT · TVM |
| 后端(Backend) | 针对硬件(Hopper/A100/Ascend)生成代码 | CUDA / ROCm / OneAPI / CANN / BangC |
| 编译器 | 起源 | 维护方 | 特点 |
|---|---|---|---|
| Apache TVM | 华盛顿大学(陈天奇) | Apache 基金会 | 开源 · 跨硬件 · 自动调优 |
| MLIR | LLVM 社区 | 多面体编译器 · 框架 | |
| Triton | Philippe Tillet(原 OpenAI) | Meta + 社区 | Python GPU 编程 · 已成 PyTorch 默认 kernel 生成器 |
| 软件栈 | 对应硬件 | 成熟度 | 生态 |
|---|---|---|---|
| NVIDIA CUDA | H100/B200/Rubin | 100%(15 年) | 300 万+ AI 工程师 |
| AMD ROCm | MI300X/MI325X | ~75%(2024-2025 大幅追赶) | PyTorch 已支持 · Hugging Face 100% |
| Intel OneAPI | Gaudi 2/3 · Xeon · GPU Max | ~40%(主要Intel芯片) | OneDNN · DeepSpeed |
| 华为 CANN | 昇腾 910B/950 | ~70%(快速迭代) | MindSpore + PyTorch(国产 fork) |
| 玩家 | 软件栈 | 对应硬件 | 2025 进展 |
|---|---|---|---|
| 华为 | CANN 7.0 + MindSpore 2.4 + openPangu | 昇腾 910C/950 | DeepSeek/V3 全栈昇腾运行(2025 H1) |
| 寒武纪 | BangC + MagicMind | MLU 590/X3 | 自动驾驶(地平线/英伟达 Orin 同级别) |
| 摩尔线程 | MUSA | MTT S5000 | GPU 国产标杆 · 游戏+AI 双线 |
| 壁仞科技 | BR104 软件栈 | BR104/B104 | AI 训练 · 兼容 ROCm 模型 |
| 百度 | PaddlePaddle + 昆仑芯 XPU SDK | 昆仑芯 P800 | 文心一言训练 · 智能云 |
| 阿里 | Hanguang SDK + 魔搭社区 | 含光 800 / 平头哥 | 阿里云 PAI 平台深度集成 |
| 字节 | LightSeq · MegaScale | Doubao 训练 | 豆包大模型用自研 |
Q1:CUDA 真的不能被替代吗?
A:不能被"快速"替代。CUDA 用了 15 年沉淀,5 年内无法复制 · 但 ROCm + Triton 已经让"替代"成为可能。
Q2:Triton 是什么?
A:Python 写 CUDA 的开源框架 · 工程师不需要学 C++ 就能写 GPU 内核 · 已被 PyTorch、TensorRT、OpenAI Triton Inference Server 集成。
Q3:昇腾能跑 PyTorch 吗?
A:可以,但需用 torch_npu fork · 90% PyTorch 模型可直接迁移 · 速度约为 A100 的 80-90%。
Q4:MLIR 在 AI 编译中的位置?
A:MLIR 不是编译器而是"编译器框架" · TVM、Triton、IREE 都在 MLIR 上构建 · 是新一代编译器标准。
Q5:中国 AI 软件人才缺口?
A:约 30 万(2025)· 写 CUDA/Triton 的本科+ 研究生 < 5 万 · 国产替代最大瓶颈不是硬件,而是软件人才。
资料来源: NVIDIA CUDA Toolkit 13.0 文档 · AMD ROCm 6.3 发布说明 · Intel OneAPI 2025.1 · Apache TVM 0.20 GitHub · LLVM/MLIR 18 工程文档 · Triton 3.0 OpenAI GitHub · 华为 CANN 7.0 白皮书 · 寒武纪 BangC 4.0 文档 · 摩尔线程 MUSA 3.0 文档 · PyTorch torch.compile 官方文档 · DeepSeek-V3 昇腾部署报告 2025 H1 · 国际 ML 会议 NeurIPS 编译器论文 · Meta AI Triton 博客 · Hugging Face ROCm 支持状态 2025 · 第一财经《国产 AI 软件栈观察》 · 36Kr《AI 编译器调研》 · 智东西《CAN 相关公司梳理》。