1. 引子:从 NVLink 到 1.6T 光互联
现象
NVIDIA NVL576 超节点单柜 72 B200 卡互联成网,需要 1260 根 1.6T 光缆。CloudMatrix 384 单柜 64 昇腾 950 互联成网,需要 950 根 1.6T 光缆。这张"网"的总数据传输速率是 4 PB/s——等于全球互联网瞬时流量的 5%。
这只是超节点内部网络。再加上超节点之间互联(IB HDR / 400G RoCE / 华为 HiBLADE)、数据中心骨干(OTN/WDM)、跨数据中心互联(DCI),2026 年 AI 数据中心需要 100 万+ 1.6T 光模块——这是光通信产业链的"AI 时代"戴维斯双击。
为什么网络"卡脖子"
一个 AI 超节点的训练效率,50% 由算力决定,30% 由显存决定,20% 由网络决定。网络是训练效率的"制约因素"。当 NVL576 单柜 72 B200 跑在 800G 网络上,GPU 利用率只能 65-70%(网络瓶颈);升级 1.6T 网络后,GPU 利用率提升到 85-90%,相当于单卡算力提升 15%。
2. 1.6T 光模块:量产元年
1.6T 光模块是什么
1.6T 光模块是2026 年量产的最快光通信器件,单模块 1.6 Tbps 速率,采用 PAM4(4 级脉冲幅度调制) + 200G SerDes,支持 200G / lane 串行信号。
- 封装:OSFP / QSFP-DD,工作温度 0-70°C
- 波长:1310 nm 主流(SR4 / DR4)
- 光纤:多模 OM4(100m 内) / 单模 OS2(2km-10km)
- 功耗:单模块 18-22 W(800G 是 14 W)
- 单价2026 Q2:$1200-1500(800G:$600-800)
三大供应商
| 指标 | 中际旭创(中国) | 新易盛(中国) | Coherent(美国) |
|---|---|---|---|
| 1.6T 量产 | 2026 Q1 | 2026 Q1 | 2026 Q2 |
| OSFP 月产能 | 80K | 60K | 50K |
| QSFP-DD 月产能 | 40K | 30K | 25K |
| 主供客户 | NVIDIA / AMD / Google | Amazon / Microsoft | Meta / Apple / Cisco |
| 1.6T 单价 | $1200 | $1180 | $1450 |
中国厂商(旭创 / 新易盛)在 1.6T 元年(2026)已经领先美国。旭创 / 新易盛 1.6T OSFP 月产 80K + 60K = 140K,Coherent 50K,中国是美国的 1.6 倍。这是过去 10 年 AI 算力产业链中国第一次领先美国的一环。
2km / 10km / 80km 三档
- SR4(2km 内):超节点内部,多模 OM4,100m-2km,$1200-1300;
- DR4 / FR4(2-10km):超节点之间,单模 OS2,2-10km,$1300-1500;
- ZR+(80-120km):数据中心之间(DCI),相干光学,$3500-4500。
3. InfiniBand vs RoCE vs HiBLADE:三大阵营
InfiniBand:闭源高性能,NVIDIA 主导
InfiniBand 是 NVIDIA 控制的闭源网络协议,200G / 400G / 800G 三档,目前最新 HDR(200G)+ NDR(400G)+ XDR(800G)。
- 优势:超低延迟(0.5-1.0 μs)+ 无损网络 + SHARP 协议(集合通信卸载);
- 劣势:绑死 NVIDIA(ConnectX-7 网卡 + Quantum-2 交换机)+ 单卡 license 贵($1000/年/卡);
- 市场:2025 占 AI 高性能网络 70%,2026 60%(被 RoCE 蚕食)。
RoCE:开源替代,Microsoft + Meta 推动
RoCE(RDMA over Converged Ethernet) 是开源的以太网络 RDMA 方案,2020-2025 完成 RoCE v2 标准。
- 优势:兼容现有以太网 + 便宜(网卡 $200 vs IB $1200)+ 灵活;
- 劣势:延迟高(1.5-3.0 μs vs IB 0.5 μs)+ 需要无损网络部署(PFC + ECN);
- 市场:2025 占 25%,2026 35% 吃 IB 份额;
- 代表客户:Microsoft Azure(Maia 100 卡互联)/ Meta(MTIA 训练集群)/ 阿里 PAI 平台。
HiBLADE:华为自研,昇腾专属
HiBLADE 是华为自研的超节点互联协议,2024 年首发,2025-2026 升级到 1.6T。
- 原理:基于自研 HCCS 协议 + 1.6T 光模块;
- 优势:超低延迟(0.6 μs 接近 IB)+ 开源框架兼容;
- 劣势:绑死昇腾 + 生态小(仅华为云 / 贵安集群);
- 市场:2025 占 5%,2026 8%。
三大阵营对比
| 指标 | InfiniBand | RoCE v2 | HiBLADE |
|---|---|---|---|
| 延迟 | 0.5 μs | 1.5-3.0 μs | 0.6 μs |
| 带宽 | 800G (XDR) | 800G (主流) | 1.6T (首发) |
| 网卡成本 | $1200 | $200 | $400(华为内部) |
| License/卡/年 | $1000 | $0 | $0 |
| 生态 | NVIDIA + Mellanox | Microsoft + Meta + Broadcom | 华为云 + 贵安 |
| 市场 | 60% | 35% | 8% |
4. 集群调度:K8s / Volcano / Slurm / Ray
传统调度:Slurm + LSF
在 LLM 训练之前,高性能计算(HPC)集群用 Slurm / LSF 调度,基于队列和优先级。这在 LLM 训练时不适用:LLM 训练需要长时间(7-30 天)独占千卡集群,Slurm 调度粒度太粗。
云原生调度:K8s + Volcano + Ray
- Kubernetes(K8s):容器化调度,基本单元是Pod(1 张 GPU),LLM 训练用 Operator(JobSet / Volcano Job / MPI Operator);
- Volcano:K8s 上的批调度扩展,支持 gang scheduling(整组调度)+ 拓扑感知 + 公平调度;
- Ray:分布式计算框架,Anyscale 维护,支持 LLM 训练(SFT / DPO 流水线)+ Actor 模型;
- ByteDance Ray 魔改:字节内部 LLM 训练框架,Torrent 集群调度 + MegaScale 训练加速。
集群调度对比
| 调度 | 代表用户 | 粒度 | 能力 |
|---|---|---|---|
| Slurm | 传统 HPC / 大学实验室 | 队列级 | 简单 |
| K8s + Volcano | Microsoft / Amazon / 阿里 PAI | Pod 级 | 丰富 |
| Ray | Anyscale / OpenAI(部分) / Meta | Task 级 | 灵活 |
| 内部魔改 | 字节 / 阿里 / DeepSeek | 极致定制 | 最强 |
5. 光通信产业链
五大环节
- 激光器:II-VI / Lumentum / Broadcom / Macom
- 光芯片(EML / DML):Broadcom / 住友电工 / 旭创 / 源杰科技
- 光器件:Lumentum / Coherent / 旭创 / 新易盛
- 光模块:中际旭创 / 新易盛 / Coherent / Fabrinet
- 光通信设备:Cisco / Arista / 华为 / 锐捷
2026 年全球 1.6T 光模块市场 预计 150 亿美元(800G 100 亿),CAGR 40%+,光通信产业链进入"戴维斯双击"阶段。
6. 风险与展望
风险
- 1.6T 良率:DR4 模块良率 70-75%,低于 800G 的 90%,产能爬坡慢;
- 激光器供应:EML 激光器 80% 集中在 Broadcom / 住友,2026 紧缺;
- 网线 / 光纤成本:1.6T 光纤 + 网线占超节点成本 15%,单 NVL576 仅网络就要 $1.5 亿;
- RoCE 互联延迟:RoCE v2 比 IB 慢 2-5 μs,在大模型训练时差 5-10% GPU 利用率;
- 中美供应链:Coherent / II-VI 激光器受美国"AI Diffusion Rule"影响,对华为断供。
展望
- 2026 H2:旭创 / 新易盛 1.6T 月产能 各 120K,全球供给 30 万/月;
- 2027 H1:3.2T 光模块 量产(2x 1.6T),单模块 30W,90nm DSP 工艺;
- 2027 H2:Linear Pluggable Optics(LPO)无 DSP 1.6T 量产,功耗降 50%;
- 2028:6.4T / 12.8T 光模块 研发启动,硅光集成成为关键。
参考资料
- 中际旭创 1.6T 量产白皮书(2026 Q1)
- NVIDIA Spectrum-X 网络白皮书(2025)
- TrendForce 报告(2026 Q2) — 光模块市场分析
- 华为 HiBLADE 技术白皮书(2025)
- RoCE v2 标准(IETF RFC 9001-9002,2024)