第14周：AI硬件产业链专题

本日概要

把 AI 硬件按层拆开，是为了让「算力从哪来、卡在哪里」这个问题有结构化的答案。自下而上大致是：材料与设备、晶圆制造、芯片设计、先进封装与存储、板卡与整机、网络与数据中心、以及上层的软件栈与生态。每一层都有自己的产能约束与技术门槛，而整条链的产出受最紧的那一环限制。分析时要避免两个常见错误：一是只盯芯片设计而忽略封装与存储的产能，二是把软件生态当作附属品——迁移成本往往才是实际选型中最重的一项。

学习目标

• 能按层描述 AI 硬件产业链，并说明各层之间的依赖关系
• 能识别整条链上的瓶颈环节，并解释为什么产出受最紧一环限制
• 能区分技术门槛、产能约束与生态门槛三类不同性质的壁垒
• 能为每条产业事实标注可回查的来源与访问日期，区分事实与推断

核心讲解

实践任务

画一张 AI 硬件分层图，逐层标注关键环节、代表性技术门槛与当前公开可查的瓶颈，并注明每条信息的来源与访问日期。

• 画出七层分层图，为每层写出两到三个关键环节与它承担的职责。
• 为每层标注一项可公开查证的技术门槛或产能信息，附来源链接与本人访问日期；查不到的一律标为「未找到公开数据」。
• 指出当前你认为最紧的一到两个环节，写明判断依据是公开数据、行业报道还是个人推断。
• 为其中一层分别列出技术门槛、产能约束与生态门槛三类壁垒各一条，说明它们的缓解路径有何不同。

自测与答案

今日完成标准

• 提交七层分层图，每层含关键环节与职责说明
• 每层至少一项信息附可回查来源与访问日期，未找到数据的条目被如实标注
• 提交三类壁垒的对比说明与瓶颈判断，明确区分公开数据与个人推断

常见错误与纠正提示

• 只依据单层技术新闻判断整条链的供给状况
• 把生态成熟度问题当作技术问题，低估迁移所需的时间与人力
• 引用未标注来源的数字，或把行业传闻表述为确定事实

分层任务

关联知识点

• AI硬件产业链
• 芯片与制程

延伸阅读

• 国务院关于印发“十四五”数字经济发展规划的通知（中国政府网政策文件）
• CUDA C++ Programming Guide（NVIDIA 官方文档）

本日概要

加速器的路线差异不只在硬件，更在软件栈。同一类矩阵运算，不同厂商用不同的编程模型、编译器与算子库来实现，因此「峰值算力」这个数字无法直接横向比较——真正决定有效算力的是算子覆盖度、编译优化质量与框架适配程度。评估一条技术路线时，应当把问题拆成四项：目标模型的关键算子是否被支持、常用框架的版本适配是否及时、调试与性能分析工具是否可用、以及已有代码的迁移改动量有多大。这四项都需要用自己的模型实测，而不是依据宣传材料判断。

学习目标

• 能说明峰值算力为何不能作为跨厂商的横向比较依据
• 能拆解加速器软件栈的层次，并说明各层对有效算力的影响
• 能设计一份加速器路线评估表，覆盖算子、框架、工具与迁移四项
• 能用自己的模型做实测，并把结论与测试条件绑定

核心讲解

实践任务

为一个具体模型评估两条加速器路线的适配情况，逐项记录算子覆盖、框架版本、工具可用性与迁移改动量。

• 选定一个具体模型，导出其算子清单，为两条候选路线逐个确认支持情况并记录未支持算子的替代方案。
• 确认两条路线对所用框架版本的支持情况与适配时间差，记录官方文档中的对应说明位置。
• 列出两条路线可用的性能分析与调试工具，实际运行一次性能分析并记录能得到哪些信息。
• 把一份已有代码在两条路线上各迁移一遍，统计改动文件数与行数、遇到的主要问题及解决耗时；汇总为评估表并标注每条信息的来源类型。

自测与答案

今日完成标准

• 提交两条路线的算子覆盖清单与未支持算子的替代方案及性能代价
• 提交框架适配情况、可用工具与一次实际性能分析的结果
• 提交迁移改动量统计与完整评估表，每条信息标注为实测、官方文档或待验证

常见错误与纠正提示

• 用峰值算力直接横向比较不同厂商的产品
• 只确认软件栈「有对应的层」，不核对目标模型的具体算子是否被高效支持
• 引用厂商基准数据而不核对其测试配置与自身场景的差距

分层任务

关联知识点

• AI硬件产业链
• GPU计算
• 芯片与制程

延伸阅读

• CUDA C++ Programming Guide（NVIDIA 官方文档）
• CANN 异构计算架构（华为昇腾官方产品页）
• 昇腾社区文档中心（华为昇腾官方文档站）

本日概要

大模型推理受限于访存而非纯算力，这使存储与封装成为决定性能的关键。高带宽存储通过把多层存储裸片垂直堆叠并与计算裸片紧密耦合，用极宽的接口换取带宽——JEDEC 的相关标准把接口划分为多个独立通道并规定了时序与封装约束。这条路线依赖先进封装工艺，因而把存储供给与封装产能绑在了一起。评估一块加速卡是否适合某个模型时，除了算力还必须看两件事：显存容量能否放下模型权重与键值缓存，以及带宽能否支撑目标的生成速度。

学习目标

• 能说明高带宽存储通过什么结构获得带宽优势，以及它对封装工艺的依赖
• 能估算模型权重与键值缓存的显存占用，并判断硬件容量是否足够
• 能把目标生成速度换算为所需的访存带宽，并与硬件规格对照
• 能识别估算中的不确定项并明确标注，而不是给出单一确定数字

核心讲解

实践任务

为一个具体模型估算所需的显存容量与带宽，对照候选硬件的公开规格判断可行性，并说明估算中的不确定项。

• 选定一个模型，按参数量与数值位宽估算权重占用；再按层数、上下文长度、批大小估算键值缓存占用。
• 把两部分相加并留出运行时开销，得到所需显存范围；与至少两款候选硬件的公开容量规格对照并记录来源。
• 设定一个目标生成速度，反推所需的访存带宽，与硬件公开带宽规格对照，判断是否可行。
• 列出估算中的全部不确定项（算子实现、批处理效率、缓存命中、实际并发分布），说明每项可能造成的偏差方向，并写明结论需要实测确认。

自测与答案

今日完成标准

• 提交权重与键值缓存的分项估算过程与合计显存需求范围
• 提交与至少两款硬件公开规格的对照结果，含来源链接与访问日期
• 提交带宽反推过程与不确定项清单，说明每项的偏差方向

常见错误与纠正提示

• 只按参数量估算显存，忽略键值缓存在长上下文高并发下的占用
• 只看算力规格不看带宽，导致模型能加载但生成速度不可用
• 把估算结果写成单一确定数字，不标注不确定项与实测要求

分层任务

关联知识点

• AI硬件产业链
• 存储系统

延伸阅读

• High Bandwidth Memory (HBM4) DRAM, JESD270-4A（JEDEC 官方标准页面）
• JEDEC Committee JC-42.2 High Bandwidth Memory（JEDEC 官方委员会页面）
• CUDA C++ Programming Guide（NVIDIA 官方文档）

本日概要

AI 服务器与通用服务器的差别集中在互连与供电散热。多张加速卡之间需要高带宽低延迟的直连通道，因为分布式训练中的梯度同步会频繁传输大量数据；卡与主机、卡与网络之间的路径同样影响端到端效率。当单机容纳的卡数达到上限后，就要靠机柜内的高速互连把多台机器组织成更大的计算域。这类系统的评价不能只看单卡指标，而要看整机与集群层面的有效算力——通信开销、拓扑结构与故障域划分共同决定了规模扩大时的效率衰减程度。

学习目标

• 能画出多卡服务器内部的计算、互连、存储与网络路径
• 能说明卡间高速互连对分布式训练效率的作用
• 能识别整机与机柜层面的供电、散热与故障域约束
• 能解释规模扩大时通信开销为何会导致效率衰减

核心讲解

实践任务

拆解一台多卡 AI 服务器的内部路径与机柜级组织方式，标注互连、供电、散热与故障域，并说明扩展时的效率约束。

• 画出一台多卡服务器的内部路径图：处理器、内存、加速卡、卡间互连、存储与网络接口，标出各段的连接方式。
• 扩展到机柜层面：加入机柜交换、配电单元与散热方式，标出至少三个共享故障域。
• 为一个假设的训练任务，说明任务切分应如何与互连拓扑匹配，以及不匹配时会产生什么额外通信。
• 估算机柜的供电与散热约束下可容纳的服务器数量，说明估算依据；再写出各层故障域失效时任务的恢复方式。

自测与答案

今日完成标准

• 提交整机内部路径图与机柜级扩展图，标出至少三个共享故障域
• 提交任务切分与拓扑匹配的说明，以及不匹配时的额外通信分析
• 提交供电散热约束下的容量估算及依据，与各层故障域失效时的恢复方式

常见错误与纠正提示

• 只看加速卡数量与型号，不核对互连拓扑
• 按物理空间规划机柜密度，忽略供电与散热上限
• 不划分故障域，任务中断后无法判断影响范围与恢复方式

分层任务

关联知识点

• AI硬件产业链
• 服务器与数据中心
• 网络技术

延伸阅读

• CUDA C++ Programming Guide（NVIDIA 官方文档）
• Uptime Institute Global Data Center Survey Results 2024（Uptime Institute 官方报告页面）

本日概要

AI 数据中心的核心矛盾是功率密度：传统机房按每机柜数千瓦设计，而高密度 AI 机柜的功率可能高出一个数量级，这让供电、散热与机房改造成为主要成本项而非附属项。能效通常用电能使用效率衡量——总用电量与 IT 设备用电量之比，越接近一越好。评估一个 AI 数据中心方案时，除了算力还要回答四个问题：电力容量是否够、散热方式能否支撑目标密度、选址的电价与气候条件如何、以及机房改造或新建的周期是否匹配业务节奏。这四项往往比设备采购更早成为瓶颈。

学习目标

• 能说明高功率密度为什么使供电与散热成为主要约束
• 能解释电能使用效率的定义与它的局限
• 能列出 AI 数据中心方案必须回答的四个前置问题
• 能为一个集群规模估算电力与散热需求，并标注不确定项

核心讲解

实践任务

为一个千卡规模集群列出电力、散热、网络与运维四类需求，估算关键数字并标注不确定项与核验入口。

• 设定一个千卡规模的集群，按单卡功耗与整机开销估算 IT 设备总功率，再按假设的能效比估算机房总用电功率，写明每个假设的来源。
• 根据估算的机柜功率密度判断可行的散热方式，列出该方式所需的机房改造项。
• 列出网络需求：集群内互连、存储访问与外部接入各自的带宽量级与冗余要求。
• 列出运维需求：监控项、值班与巡检、故障响应流程与备件策略；最后汇总所有易变数字，为每项给出核验入口与本人访问日期，未核验的标为待验证假设。

自测与答案

今日完成标准

• 提交 IT 功率与总用电功率的分项估算过程，每个假设标明来源
• 提交散热方式判断与所需改造项清单，以及网络与运维需求清单
• 提交易变数字汇总表，每项含核验入口与访问日期，未核验项被标为待验证假设

常见错误与纠正提示

• 按物理空间而非供电散热能力规划集群规模
• 只用能效指标评价数据中心，忽略算力利用率
• 把电价、容量等易变数字写成确定值，不给核验入口

分层任务

关联知识点

• AI硬件产业链
• 服务器与数据中心
• 云计算

延伸阅读

• Uptime Institute Global Data Center Survey Results 2024（Uptime Institute 官方报告页面）
• 国务院关于印发“十四五”数字经济发展规划的通知（中国政府网政策文件）

本日概要

集群规模扩大后，网络往往取代单卡算力成为瓶颈。分布式训练的通信模式以集合通信为主，其耗时取决于网络带宽、延迟与拓扑，而不只是链路速率；因此评估集群网络要看端到端的集合通信性能，而非单纯的接口带宽数字。端侧则是另一个极端：算力、内存、功耗与延迟四重受限，模型必须经过压缩与格式转换才能部署。把两端放在一起看，可以得到一个实用的划分原则——延迟敏感、隐私敏感与离线可用的任务留在端侧，需要大模型能力、最新知识或跨用户聚合的任务回到云端，两者通过明确的接口协作。

学习目标

• 能说明集合通信的耗时受哪些因素影响，以及为何不能只看链路速率
• 能识别集群规模扩大时通信开销导致的效率衰减
• 能按延迟、隐私、离线三个维度划分端云任务边界
• 能说明端侧部署所需的压缩与格式转换步骤及其验证要求

核心讲解

实践任务

为一个端云协同应用划分任务边界，并分别说明集群侧的通信约束与端侧的四重约束如何影响设计。

• 为一个分布式训练场景说明其主要集合通信模式，列出影响其耗时的四类因素。
• 若条件允许，在两种节点规模下实测一次集合通信耗时并计算加速比；条件不足时用教师提供的数据完成曲线分析。
• 选定一个端云协同应用，按延迟、隐私、离线三条判据划分任务边界，逐项写明判断理由。
• 为端侧部分说明压缩与转换步骤及一致性验证方案；定义端云接口的上传内容、返回内容与断网时的降级行为。

自测与答案

今日完成标准

• 提交集合通信影响因素分析与加速比曲线（实测或基于教师数据）
• 提交端云任务划分表，三条判据逐项给出判断理由
• 提交端侧压缩转换方案与一致性验证设计，以及端云接口与断网降级行为定义

常见错误与纠正提示

• 按接口标称带宽评估集群网络能力
• 按线性外推估计大规模集群的训练效率
• 端云划分以「能放端侧就放端侧」为原则，忽略最新知识与聚合类需求

分层任务

关联知识点

• AI硬件产业链
• 网络技术
• AI开发工具链

延伸阅读

• ONNX: Introduction（ONNX 官方文档）
• LiteRT: On-device machine learning（Google 官方开发者文档）
• CUDA C++ Programming Guide（NVIDIA 官方文档）

本日概要

本周收尾要产出一份可复核的硬件选型表。合理的结构是先按用途分场景——训练集群、在线推理、端侧设备三类的约束完全不同，不应共用一套标准；再为每个场景列出必须回答的问题：容量与带宽是否满足、软件生态与迁移成本如何、供电散热与机房条件是否具备、以及采购与交付周期能否匹配业务节奏。选型表的价值在于让判断可被他人复核，因此每一项都要写清依据来源，并把价格、产能、交付周期这类易变信息标记为需要在实际采购时重新核验的假设。

学习目标

• 能按训练、在线推理、端侧三类场景分别组织硬件选型标准
• 能为每个场景列出必须回答的关键问题并给出判断依据
• 能区分稳定的机制性结论与易变的市场信息，并分别处理
• 能产出一份他人可按同样依据复核的选型表

核心讲解

实践任务

编制三场景硬件选型表，逐项给出判断依据与来源，并单列需要重新核验的易变信息。

• 为训练集群、在线推理、端侧设备三类场景分别列出五到八个必须回答的判断项。
• 为每个判断项填写结论、依据与来源四列，依据类型标注为实测、官方文档或待验证。
• 把价格、产能、交付周期等易变信息单列一节，记录当前情况、来源与获取日期，并标注需重新核验。
• 请同伴按你的依据复核其中一个场景的结论，记录分歧点及其定位到的具体依据，并据此修订选型表。

自测与答案

今日完成标准

• 提交三场景选型表，每场景五到八个判断项，四列齐全
• 依据类型逐项标注为实测、官方文档或待验证，来源含访问日期
• 提交易变信息单列节与同伴复核记录，含分歧点定位与修订说明

常见错误与纠正提示

• 三类场景共用一套标准，产生无意义的横向比较
• 结论只写判断不写依据来源，他人无法复核
• 把价格与交付周期写进主表，文档很快过期

分层任务

关联知识点

• AI硬件产业链
• MLOps
• AI开发工具链

延伸阅读

• CUDA C++ Programming Guide（NVIDIA 官方文档）
• CANN 异构计算架构（华为昇腾官方产品页）
• High Bandwidth Memory (HBM4) DRAM, JESD270-4A（JEDEC 官方标准页面）
• Uptime Institute Global Data Center Survey Results 2024（Uptime Institute 官方报告页面）
• ONNX: Introduction（ONNX 官方文档）