第18周：大模型高级原理

先说人话

先说人话：标准注意力慢的不只是乘法，还因为中间注意力矩阵反复写入和读取显存。

学习Flash Attention先明确它解决的瓶颈，再判断是否值得引入；名称相似不代表机制相同。

机制拆开

标准注意力慢的不只是乘法，还因为中间注意力矩阵反复写入和读取显存。Flash Attention 分块计算并在线归一化，减少高带宽内存 IO，同时保持精确注意力结果。

分析Flash Attention时沿输入、状态、计算或检索、输出四步画数据流，并把成本落到时间、显存、带宽或质量指标。

边界与取舍

它没有把注意力理论计算量从平方级变成线性级；收益依赖序列长度、硬件、数据类型和内核支持。短序列上启动开销可能盖过收益。

评价Flash Attention必须附工作负载、硬件或模型、版本和测量口径；没有这些条件的“更快”“更准”不能直接用于选型。

落地检查

把Flash Attention放进真实系统前，先保存未改动方案的原始数据，再按单一变量引入改动。评估Flash Attention不能只看平均值，还要记录尾延迟、资源峰值、异常输入和失败恢复。

复盘Flash Attention实验时，要能回答三个问题：改善来自哪一步，代价转移到了哪里，指标不达标时如何停止并回滚。这样得到的Flash Attention结论不是一张漂亮截图，而是一份别人可以复核的工程证据。最后还要把Flash Attention的配置、版本、样本和原始输出一起保存，确保换一个人也能重复同样的检查。

上线前再为Flash Attention安排一次反向评审：让没有参与实现的人只看记录复现实验，并主动寻找会推翻结论的输入。如果Flash Attention复现失败，就先补证据而不是扩大部署范围。

先说人话

先说人话：MHA 每个查询头都有独立 K/V；MQA 让所有查询头共享一组 K/V；GQA 让若干查询头共享一组；MLA 用低秩潜变量压缩并重构注意力所需信息。

学习GQA/MQA/MLA先明确它解决的瓶颈，再判断是否值得引入；名称相似不代表机制相同。

机制拆开

MHA 每个查询头都有独立 K/V；MQA 让所有查询头共享一组 K/V；GQA 让若干查询头共享一组；MLA 用低秩潜变量压缩并重构注意力所需信息。目标都是减少 KV Cache 和读取带宽。

分析GQA/MQA/MLA时沿输入、状态、计算或检索、输出四步画数据流，并把成本落到时间、显存、带宽或质量指标。

边界与取舍

共享越强越省缓存，但质量与兼容性取决于训练方式，不能只在部署时随意把已有 MHA 权重改成 MQA。MLA 的具体实现也不能简单等同于更多共享头。

评价GQA/MQA/MLA必须附工作负载、硬件或模型、版本和测量口径；没有这些条件的“更快”“更准”不能直接用于选型。

落地检查

把GQA/MQA/MLA放进真实系统前，先保存未改动方案的原始数据，再按单一变量引入改动。评估GQA/MQA/MLA不能只看平均值，还要记录尾延迟、资源峰值、异常输入和失败恢复。

复盘GQA/MQA/MLA实验时，要能回答三个问题：改善来自哪一步，代价转移到了哪里，指标不达标时如何停止并回滚。这样得到的GQA/MQA/MLA结论不是一张漂亮截图，而是一份别人可以复核的工程证据。最后还要把GQA/MQA/MLA的配置、版本、样本和原始输出一起保存，确保换一个人也能重复同样的检查。

上线前再为GQA/MQA/MLA安排一次反向评审：让没有参与实现的人只看记录复现实验，并主动寻找会推翻结论的输入。如果GQA/MQA/MLA复现失败，就先补证据而不是扩大部署范围。

先说人话

先说人话：全注意力让每个 Token 看全部位置。

学习稀疏注意力先明确它解决的瓶颈，再判断是否值得引入；名称相似不代表机制相同。

机制拆开

全注意力让每个 Token 看全部位置。稀疏注意力只保留局部窗口、固定全局点或内容选择的连接，用更少计算支持更长序列。

分析稀疏注意力时沿输入、状态、计算或检索、输出四步画数据流，并把成本落到时间、显存、带宽或质量指标。

边界与取舍

稀疏模式会改变信息可达路径；关键信息若不在连接图里，长度再长也看不到。理论稀疏还需要硬件友好的内核才能转成真实加速。

评价稀疏注意力必须附工作负载、硬件或模型、版本和测量口径；没有这些条件的“更快”“更准”不能直接用于选型。

落地检查

把稀疏注意力放进真实系统前，先保存未改动方案的原始数据，再按单一变量引入改动。评估稀疏注意力不能只看平均值，还要记录尾延迟、资源峰值、异常输入和失败恢复。

复盘稀疏注意力实验时，要能回答三个问题：改善来自哪一步，代价转移到了哪里，指标不达标时如何停止并回滚。这样得到的稀疏注意力结论不是一张漂亮截图，而是一份别人可以复核的工程证据。最后还要把稀疏注意力的配置、版本、样本和原始输出一起保存，确保换一个人也能重复同样的检查。

上线前再为稀疏注意力安排一次反向评审：让没有参与实现的人只看记录复现实验，并主动寻找会推翻结论的输入。如果稀疏注意力复现失败，就先补证据而不是扩大部署范围。

先说人话

先说人话：路由有两层含义：MoE 在一个模型内部按 Token 选择专家；多模型路由在请求层选择不同模型或工具。

学习模型路由先明确它解决的瓶颈，再判断是否值得引入；名称相似不代表机制相同。

机制拆开

路由有两层含义：MoE 在一个模型内部按 Token 选择专家；多模型路由在请求层选择不同模型或工具。前者平衡专家容量，后者按质量、成本、时延和权限分流。

分析模型路由时沿输入、状态、计算或检索、输出四步画数据流，并把成本落到时间、显存、带宽或质量指标。

边界与取舍

路由器会犯错，也会造成热门专家或模型过载。必须保留回退、容量因子、质量评估和可观察性，不能只用关键词硬分。

评价模型路由必须附工作负载、硬件或模型、版本和测量口径；没有这些条件的“更快”“更准”不能直接用于选型。

落地检查

把模型路由放进真实系统前，先保存未改动方案的原始数据，再按单一变量引入改动。评估模型路由不能只看平均值，还要记录尾延迟、资源峰值、异常输入和失败恢复。

复盘模型路由实验时，要能回答三个问题：改善来自哪一步，代价转移到了哪里，指标不达标时如何停止并回滚。这样得到的模型路由结论不是一张漂亮截图，而是一份别人可以复核的工程证据。最后还要把模型路由的配置、版本、样本和原始输出一起保存，确保换一个人也能重复同样的检查。

上线前再为模型路由安排一次反向评审：让没有参与实现的人只看记录复现实验，并主动寻找会推翻结论的输入。如果模型路由复现失败，就先补证据而不是扩大部署范围。

先说人话

先说人话：训练结束后仍可在回答时投入更多计算：多次采样、搜索候选、调用验证器或延长推理轨迹，再选择更可靠结果。

学习推理时扩展先明确它解决的瓶颈，再判断是否值得引入；名称相似不代表机制相同。

机制拆开

训练结束后仍可在回答时投入更多计算：多次采样、搜索候选、调用验证器或延长推理轨迹，再选择更可靠结果。这叫把预算从训练期移到推理期。

分析推理时扩展时沿输入、状态、计算或检索、输出四步画数据流，并把成本落到时间、显存、带宽或质量指标。

边界与取舍

更多计算存在收益递减，验证器也可能偏置或被欺骗。简单任务盲目增加采样只会增加成本和延迟，应按难度动态分配预算。

评价推理时扩展必须附工作负载、硬件或模型、版本和测量口径；没有这些条件的“更快”“更准”不能直接用于选型。

落地检查

把推理时扩展放进真实系统前，先保存未改动方案的原始数据，再按单一变量引入改动。评估推理时扩展不能只看平均值，还要记录尾延迟、资源峰值、异常输入和失败恢复。

复盘推理时扩展实验时，要能回答三个问题：改善来自哪一步，代价转移到了哪里，指标不达标时如何停止并回滚。这样得到的推理时扩展结论不是一张漂亮截图，而是一份别人可以复核的工程证据。最后还要把推理时扩展的配置、版本、样本和原始输出一起保存，确保换一个人也能重复同样的检查。

上线前再为推理时扩展安排一次反向评审：让没有参与实现的人只看记录复现实验，并主动寻找会推翻结论的输入。如果推理时扩展复现失败，就先补证据而不是扩大部署范围。

先说人话

先说人话：Tokenizer 把文本变成模型认识的整数序列。

学习Tokenizer 与特殊 Token先明确它解决的瓶颈，再判断是否值得引入；名称相似不代表机制相同。

机制拆开

Tokenizer 把文本变成模型认识的整数序列。词表、归一化、预分词和合并规则决定同一文本如何切分；BOS、EOS、PAD 与对话边界等特殊 Token 还承担控制协议。

分析Tokenizer 与特殊 Token时沿输入、状态、计算或检索、输出四步画数据流，并把成本落到时间、显存、带宽或质量指标。

边界与取舍

字符数不等于 Token 数，中英文和代码差异很大。新增特殊 Token 后若不调整模型嵌入或聊天模板，可能出现越界、误终止或角色串线。

评价Tokenizer 与特殊 Token必须附工作负载、硬件或模型、版本和测量口径；没有这些条件的“更快”“更准”不能直接用于选型。

落地检查

把Tokenizer 与特殊 Token放进真实系统前，先保存未改动方案的原始数据，再按单一变量引入改动。评估Tokenizer 与特殊 Token不能只看平均值，还要记录尾延迟、资源峰值、异常输入和失败恢复。

复盘Tokenizer 与特殊 Token实验时，要能回答三个问题：改善来自哪一步，代价转移到了哪里，指标不达标时如何停止并回滚。这样得到的Tokenizer 与特殊 Token结论不是一张漂亮截图，而是一份别人可以复核的工程证据。最后还要把Tokenizer 与特殊 Token的配置、版本、样本和原始输出一起保存，确保换一个人也能重复同样的检查。

上线前再为Tokenizer 与特殊 Token安排一次反向评审：让没有参与实现的人只看记录复现实验，并主动寻找会推翻结论的输入。如果Tokenizer 与特殊 Token复现失败，就先补证据而不是扩大部署范围。

先说人话

先说人话：蒸馏让学生模型学习教师的软分布、隐藏表示或教师生成的数据，而不只是硬标签。

学习模型蒸馏先明确它解决的瓶颈，再判断是否值得引入；名称相似不代表机制相同。

机制拆开

蒸馏让学生模型学习教师的软分布、隐藏表示或教师生成的数据，而不只是硬标签。软目标能暴露类别之间的相似关系，常用于压缩成本与延迟。

分析模型蒸馏时沿输入、状态、计算或检索、输出四步画数据流，并把成本落到时间、显存、带宽或质量指标。

边界与取舍

学生容量决定可吸收的信息上限；教师错误也会被继承。只在教师生成数据上评估会形成闭环自证，必须保留独立真实测试集。

评价模型蒸馏必须附工作负载、硬件或模型、版本和测量口径；没有这些条件的“更快”“更准”不能直接用于选型。

落地检查

把模型蒸馏放进真实系统前，先保存未改动方案的原始数据，再按单一变量引入改动。评估模型蒸馏不能只看平均值，还要记录尾延迟、资源峰值、异常输入和失败恢复。

复盘模型蒸馏实验时，要能回答三个问题：改善来自哪一步，代价转移到了哪里，指标不达标时如何停止并回滚。这样得到的模型蒸馏结论不是一张漂亮截图，而是一份别人可以复核的工程证据。最后还要把模型蒸馏的配置、版本、样本和原始输出一起保存，确保换一个人也能重复同样的检查。

上线前再为模型蒸馏安排一次反向评审：让没有参与实现的人只看记录复现实验，并主动寻找会推翻结论的输入。如果模型蒸馏复现失败，就先补证据而不是扩大部署范围。