第8周：大模型核心技术

本日概要

当前主流大语言模型多采用仅解码器的 Transformer 结构：把文本转成词元序列，用带因果掩码的自注意力保证每个位置只能看到自己和之前的内容，逐个预测下一个词元。不同模型之间的差异主要集中在几个可比较的维度——参数规模、层数与隐藏维度、上下文窗口长度、注意力的具体变体、位置编码方式、词表大小与训练数据规模。比较模型时必须先确认这些维度的口径一致，尤其要区分「参数量」与「实际激活的参数量」，混合专家结构中的这两个数字可以相差很大。

学习目标

• 能画出仅解码器 Transformer 的一层结构，并说明因果掩码的作用
• 能列出比较大模型时应统一的至少六个维度
• 能区分总参数量与激活参数量，并说明混合专家结构下的差异
• 能识别技术报告中不可直接横向比较的字段并说明原因

核心讲解

实践任务

选两个公开了技术报告的模型，按统一维度制作对照表，逐项标注来源与访问日期，并指出哪些字段无法同口径比较。

• 选择两个公开技术报告的模型，建立包含参数规模、层数、隐藏维度、上下文窗口、注意力变体、位置编码、词表大小、训练词元数的对照表。
• 为每个字段标注来源链接的具体位置与本人访问日期，找不到官方来源的字段留空并标为「未公开」，不得用推测填充。
• 对同一段中文与英文文本，用两个模型的分词器分别统计词元数，说明词表差异如何影响上下文窗口的实际容量。
• 在对照表末尾单列一节，写出哪些字段因口径不同而不可直接比较，并说明理由。

自测与答案

今日完成标准

• 提交八个维度齐全的对照表，每个字段附来源位置与访问日期
• 未公开字段明确标注为「未公开」，无推测填充
• 单列出不可直接比较的字段清单并说明口径差异

常见错误与纠正提示

• 用参数量单一数字给模型排名，忽略激活参数、上下文与数据规模
• 把技术报告中的基准分数直接横向比较，不核对评测集与提示方式
• 找不到官方数据时用第三方转述或推测值填表

分层任务

关联知识点

• Transformer架构
• 大模型训练

延伸阅读

• Hugging Face Transformers Documentation（Hugging Face 官方文档）
• LLaMA: Open and Efficient Foundation Language Models（arXiv 论文页面）
• Attention Is All You Need（arXiv 论文页面）

本日概要

预训练的目标函数极其简单——预测下一个词元——但工程复杂度几乎全部集中在数据与规模上。文本先经分词器切成词元，子词分词让词表保持有限的同时避免大量未登录词；不同分词器对同一段文本产生的词元数可能差异很大，中文尤其明显，这直接影响上下文窗口的实际容量与调用成本。困惑度是常用的语言建模指标，但它只在同一分词器、同一评测集上可比，跨模型引用困惑度而不说明这两个前提是常见错误。理解「按词元计费、按词元限长」是后续所有成本估算的基础。

学习目标

• 能说明子词分词解决了什么问题，以及它对未登录词的处理方式
• 能测量并解释同一文本在不同分词器下的词元数差异
• 能说明困惑度的含义及其可比性的前提条件
• 能用词元数估算上下文占用与调用成本，并指出估算中的不确定项

核心讲解

实践任务

用两种分词器统计同一批中英文文本的词元数，计算词元与字符的比例，并据此估算一次调用的上下文占用。

• 准备三段文本：纯英文、纯中文、中英混合代码片段，各约五百字符，记录字符数。
• 用两种不同的分词器分别切分，统计词元数，计算每种文本的字符与词元比例。
• 根据一个具体的上下文窗口长度，估算三种文本各能放入多少字符，并写出估算中的不确定项。
• 查阅困惑度的官方定义，写出它在本次实验条件下不可跨模型比较的两条理由。

自测与答案

今日完成标准

• 提交三类文本在两种分词器下的词元数与字符词元比例表
• 给出基于实测比例的上下文容量估算及不确定项说明
• 写出困惑度不可跨模型比较的两条理由，并附官方定义出处

常见错误与纠正提示

• 按字符数或汉字数估算上下文占用与调用成本
• 跨模型引用困惑度而不说明分词器与评测集
• 用困惑度低直接论证模型在业务任务上更好用

分层任务

关联知识点

• 大模型训练

延伸阅读

• Transformers: Summary of the tokenizers（Hugging Face 官方文档）
• Transformers: Perplexity of fixed-length models（Hugging Face 官方文档）

本日概要

预训练得到的是一个擅长续写的模型，而不是一个会听指令的助手。对齐通常分三步：先用人工编写的指令与回答做有监督微调，让模型学会指令跟随的形式；再收集人类对多个候选回答的偏好排序，训练一个奖励模型来近似人类偏好；最后用强化学习按奖励模型的信号进一步优化策略，同时用约束防止模型偏离原始分布太远。InstructGPT 论文完整描述了这一流程，并报告了一个重要发现：经过对齐的较小模型在人类评价上可以优于未对齐的更大模型——这说明「有用」与「能力强」不是同一件事。

学习目标

• 能画出有监督微调、奖励建模、强化学习三阶段的流程与数据流
• 能说明奖励模型的训练数据是偏好排序而非绝对分数，并解释原因
• 能指出奖励劫持与分布偏移两类风险及其缓解手段
• 能解释为什么对齐后的小模型可能在人类评价上优于未对齐的大模型

核心讲解

实践任务

阅读 InstructGPT 论文的方法部分，画出三阶段训练流程图，标注每阶段的数据来源、优化目标与已知风险。

• 阅读论文方法部分，画出三阶段流程图，标注每阶段的输入数据、优化目标与产出。
• 为每个阶段写出数据来源与标注要求，并指出该阶段最依赖的人工投入是什么。
• 列出奖励劫持的三种可能表现形式，并为每种给出一个可观察的检测信号。
• 写一段说明：为什么对齐后的小模型可能在人类评价上胜过未对齐的大模型，并指出这对模型选型的含义。

自测与答案

今日完成标准

• 提交三阶段流程图，每阶段标注数据来源、优化目标与产出
• 提交奖励劫持的三种表现与对应检测信号
• 书面说明对齐质量作为独立选型维度的理由，并附论文出处

常见错误与纠正提示

• 把对齐理解为一次性的微调，忽略它是持续校准的过程
• 认为奖励模型分数越高质量一定越好，不设独立人工评估
• 在选型时只看参数量与基准分数，不评估对齐质量与任务贴合度

分层任务

关联知识点

• 大模型训练
• 机器学习基础

延伸阅读

• Training language models to follow instructions with human feedback（arXiv 论文页面）
• Transformers: Generation with LLMs（Hugging Face 官方文档）

本日概要

先说人话：模型里的数不是只有一种精度。FP32、FP16、BF16、FP8、INT8、INT4用不同位数和编码方式保存数值，位数减少通常节省显存与带宽，也会改变范围、有效数字、硬件支持和模型质量。W8A8表示权重8位、激活8位；W8A16表示权重8位、激活16位；W4A16表示权重4位、激活16位。它们不自动规定KV Cache、累加器和敏感算子的精度，选型必须同时实测质量、显存和速度。

学习目标

• 能用位、字节、指数位和尾数位解释 FP32、TF32、FP16、BF16、FP8、INT8 与 INT4 的主要差异
• 能读懂 W8A8、W8A16、W4A16 等记法，并区分权重、激活、累加器与 KV Cache 精度
• 能区分混合精度、PTQ 与 QAT，并说明校准数据、缩放因子和离群值为何影响量化质量
• 能比较 per-tensor、per-channel 与更细粒度缩放的成本和误差
• 能用自身业务样本同时评估显存、速度与模型质量，而不是照搬他人的无损结论

核心讲解

实践任务

为同一模型建立 FP16/BF16 基线，再比较 W8A16、W8A8 或 W4A16 中至少一种可用方案；记录权重体积、峰值显存、吞吐、首词元/逐词元延迟和业务评测质量。

• 画一张精度拆解表，分别填写模型权重、激活、矩阵累加、敏感算子和 KV Cache 的数据类型，禁止只写一个“8位模型”。
• 按参数量×位数÷8计算一个 7B 模型 FP32、FP16/BF16、INT8 与 INT4 的纯权重理论体积，再列出真实显存中未计入的项目。
• 在本人授权环境中选一个较小开源模型，以 FP16/BF16 为基线，运行至少一种 W8A16、W8A8 或 W4A16 方案并记录版本、硬件和量化配置。
• 用代表真实业务的固定样本比较任务质量、峰值显存、首词元延迟、逐词元延迟与吞吐；单独加入长上下文样本观察 KV Cache。
• 检查错误样本和离群输入；若质量下降，依次尝试更细缩放、代表性校准集、敏感层回退或更高位宽，并写出最终选型边界。

自测与答案

今日完成标准

• 提交包含权重、激活、累加、敏感算子与 KV Cache 的精度拆解表
• 提交 7B 模型不同位宽的理论权重体积计算，并说明真实显存额外组成
• 提交基线与至少一种量化方案的质量、显存、TTFT、TPOT/吞吐对照
• 写出校准数据、离群值、硬件内核和精度回退条件

常见错误与纠正提示

• 把 FP8 与 INT8 当成同一种 8 位格式，忽略编码和硬件内核差异
• 把 W8A8 理解为模型所有张量、算子、累加器和 KV Cache 都是 8 位
• 只按参数量计算显存，漏掉缩放参数、运行时工作区、激活与 KV Cache
• 使用与真实请求分布无关的校准集，然后宣称量化无损
• 只看显存下降，不测任务质量、首词元延迟、逐词元速度和高并发稳定性

分层任务

关联知识点

• Transformer架构
• 大模型训练
• 大模型精度与量化

延伸阅读

• TensorRT-LLM Quantization（NVIDIA TensorRT-LLM 官方文档）
• TensorRT Quantization Schemes（NVIDIA TensorRT 官方文档）
• PyTorch Numerical Accuracy（PyTorch 官方文档）
• Transformers bitsandbytes Quantization（Hugging Face 官方文档）

本日概要

向量检索把文本转成稠密向量，用向量间的距离近似语义相似度，从而能检索到用词不同但含义相近的内容。它不是关键词检索的替代品：精确的编号、型号、人名等场景，关键词匹配往往更可靠，实践中两者混合使用效果更好。几个关键决策必须显式做出并记录：选哪个嵌入模型（决定向量维度与语言适配）、用哪种距离度量（必须与模型训练时一致）、文档如何切块（块太大稀释语义、太小丢失上下文）、以及索引类型（精确检索保证召回、近似检索用少量召回损失换速度）。

学习目标

• 能说明向量检索相对关键词检索的优势与失效场景
• 能解释距离度量必须与嵌入模型训练方式一致的原因
• 能设计并比较不同的文档切块策略，说明块大小与重叠的取舍
• 能区分精确检索与近似检索，并用召回率与延迟量化二者差异

核心讲解

实践任务

为一批文档建立向量索引，比较两种切块策略与两种距离度量对检索结果的影响，并与关键词检索做对照。

• 准备一批文档与至少十条带已知正确答案的查询，记录文档总量与平均长度。
• 用两种切块策略（如按固定长度切分与按段落切分并保留重叠）分别建立索引，对同一组查询比较命中情况。
• 在同一索引上改用与嵌入模型不匹配的距离度量重跑，记录排序结果的变化并解释原因。
• 对包含精确编号的查询分别执行向量检索与关键词检索，对比结果；写出混合检索的合并规则草案。

自测与答案

今日完成标准

• 提交两种切块策略在同一组查询上的命中对比与结论
• 提交距离度量不匹配的对照实验记录与解释
• 提交精确标识符查询下两种检索方式的对比与混合检索合并规则草案

常见错误与纠正提示

• 沿用默认块大小而不做对比实验，检索质量差却归因于模型能力
• 距离度量与嵌入模型不匹配，排序失真且长期未被发现
• 数据量很小就引入近似索引，增加复杂度却没有可测量的收益

分层任务

关联知识点

• RAG检索增强生成
• 机器学习基础

延伸阅读

• Chroma Documentation: Introduction（Chroma 官方文档）
• Chroma: Configuring collections（Chroma 官方文档）
• Hugging Face Transformers Documentation（Hugging Face 官方文档）

本日概要

检索增强生成把外部知识引入生成过程：先用查询检索相关片段，再把片段与问题一起交给模型作答。它解决的是模型知识陈旧、无法覆盖私有资料、以及答案难以追溯来源三个问题，代价是引入了检索这一新的失败面。一条完整的链路包含查询理解、检索、重排、上下文组装、生成与引用标注六个环节，任何一环失效都会表现为「回答质量差」，因此必须分环节评估而不是只看最终输出。最关键的工程要求是：每个结论都能指回具体来源片段，让使用者可以自行核对。

学习目标

• 能画出检索增强生成的六个环节，并说明每一环可能的失败模式
• 能设计分环节的评估方法，区分检索失败与生成失败
• 能说明上下文组装中片段顺序、数量与去重的影响
• 能实现可核对的引用标注，使每个结论都能指回原文片段

核心讲解

实践任务

搭建一个最小可用的检索增强问答流程，分环节记录中间结果，并为十条测试问题标注每一环的成败。

• 准备十条覆盖不同类型的测试问题（事实型、比较型、含精确编号型），为每条标注正确答案与应命中的文档片段。
• 搭建最小链路并为每条问题记录中间结果：召回片段列表、正确片段排名、进入上下文的片段、最终回答与引用。
• 分别计算检索召回率与「有正确片段时的回答准确率」，据此判断当前瓶颈在检索还是生成。
• 做两组对照：改变进入上下文的片段数量、以及是否去重；再实现一次引用校验，对关键陈述未出现在引用片段中的回答标记为无依据。

自测与答案

今日完成标准

• 提交十条测试问题的完整中间结果记录表
• 给出检索召回率与有正确片段时的回答准确率两个指标，并据此判断瓶颈
• 提交片段数量与去重两组对照实验结果，以及引用校验的实现与触发样例

常见错误与纠正提示

• 只评估最终答案，无法判断该改检索还是改提示
• 认为放入的片段越多越好，导致关键信息被稀释或挤出窗口
• 引用只标出文档名而无法定位片段，使用者无法核对

分层任务

关联知识点

• RAG检索增强生成

延伸阅读

• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（arXiv 论文页面）
• Chroma Documentation: Introduction（Chroma 官方文档）
• Transformers: Generation with LLMs（Hugging Face 官方文档）

本日概要

本周收尾把预训练、对齐、推理与检索增强串成一条完整链路，并对应到成本与风险。链路是：数据与分词决定模型看到什么；预训练决定基础能力；对齐决定是否好用；推理部署决定成本与延迟；检索增强决定能否使用私有与最新知识并可追溯。选型时真正要回答的不是「哪个模型最强」，而是「在我的任务、数据、延迟与预算约束下，哪种组合的总成本最低且风险可控」。很多场景下，一个中等规模模型加上做扎实的检索与提示，效果和成本都优于直接换更大的模型。

学习目标

• 能画出从数据到部署的完整链路，并说明每一环对最终效果的影响方式
• 能按任务、数据、延迟、预算四类约束组织模型选型论证
• 能列出推理服务的主要成本驱动因素，并说明哪些数字必须实测
• 能为一个方案列出风险清单与对应的缓解或兜底措施

核心讲解

实践任务

为一个具体业务场景写一份技术方案：给出模型选型、部署方式、检索设计与评估方案，并逐项列出成本驱动因素与风险。

• 画出从数据、分词、模型、对齐、推理到检索的完整链路图，为每一环标注它决定了什么。
• 为一个具体业务场景写出任务、数据、延迟、预算四类约束的具体数值或范围，标明来源是实测还是假设。
• 给出模型选型与部署方案，列出成本驱动因素并用自己的请求样本估算低中高三档用量情景。
• 编写风险清单，覆盖内容、数据、依赖、成本四类，为每项写出缓解措施与兜底方案；无兜底的项单独标出。

自测与答案

今日完成标准

• 提交完整链路图，每一环标注其决定的内容
• 提交四类约束的具体数值与来源标注，以及基于真实样本的三档成本情景
• 提交覆盖四类风险的清单，每项有缓解或兜底措施，无兜底项被单独标出

常见错误与纠正提示

• 效果不好就换更大的模型，不先做分环节评估定位瓶颈
• 按官方示例估算成本，上线后实际用量与预估严重偏离
• 风险清单只写内容风险，忽略数据出域、依赖可用性与成本失控

分层任务

关联知识点

• 大模型训练
• Transformer架构

延伸阅读

• Transformers: Generation with LLMs（Hugging Face 官方文档）
• vLLM Documentation（vLLM 官方文档）
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（arXiv 论文页面）
• Training language models to follow instructions with human feedback（arXiv 论文页面）