第7周：深度学习基础

本日概要

神经网络的基本单元是「线性变换加非线性激活」的堆叠。没有激活函数时，无论堆多少层，整体仍等价于一次线性变换，因此非线性是深度带来表达力的前提。训练依赖两个机制：前向传播计算预测与损失，反向传播沿计算图用链式法则求出每个参数的梯度。PyTorch 的自动微分会在前向时记录操作构成动态计算图，调用反向时沿图回溯累积梯度——注意是累积而非覆盖，所以每个训练步都要先清零，这是初学者最常见的错误来源之一。

学习目标

• 能说明激活函数的必要性，并论证去掉激活后深度为何失去意义
• 能画出前向传播与反向传播在计算图上的方向，并解释链式法则的作用
• 能写出训练循环的四个步骤，并说明梯度清零缺失会导致什么现象
• 能区分训练模式与评估模式，并说明为什么评估时要关闭梯度计算

核心讲解

实践任务

用 PyTorch 实现一个两层全连接网络完成手写数字分类，手动写出训练循环的四个步骤并解释每一步的作用。

• 构建一个包含两层全连接与一个激活函数的网络，打印结构并数出可训练参数总量。
• 实现训练循环的四个步骤，训练若干轮并记录每轮的训练与验证损失。
• 故意注释掉梯度清零一行，重新训练并记录损失曲线的变化，解释现象成因。
• 去掉激活函数重新训练，对比准确率与损失曲线；再在评估时忘记切换评估模式与关闭梯度，记录结果差异与显存占用变化。

自测与答案

今日完成标准

• 提交网络结构、参数量统计与完整训练循环代码
• 提交去掉梯度清零与去掉激活函数两组对照实验的损失曲线与解释
• 记录评估模式与梯度关闭对结果和显存的影响，并说明为何不会报错

常见错误与纠正提示

• 忘记梯度清零，把损失不下降归因于学习率或模型结构
• 评估时未切换到评估模式，随机失活仍在生效导致结果波动
• 认为堆更多层一定更强，忽略没有非线性时深度不产生表达力

分层任务

关联知识点

• 深度学习框架
• 机器学习基础

延伸阅读

• PyTorch: Build the Neural Network（PyTorch 官方教程）
• PyTorch: Autograd mechanics（PyTorch 官方文档）

本日概要

训练能否收敛，往往取决于优化器、学习率与初始化的配合，而不是模型结构。随机梯度下降沿当前批次的梯度方向更新，加入动量后可以在震荡方向上相互抵消、在一致方向上累积速度；自适应方法为每个参数维护独立的步长，对稀疏梯度与不同尺度的参数更友好，但也可能在某些任务上泛化略差。学习率是影响最大的单个超参数：过大导致发散，过小导致训练缓慢并容易停在较差的位置。判断这些选择的唯一可靠方式是画出损失曲线并对比，而不是照搬别人的配置。

学习目标

• 能说明动量如何改变参数更新方向，并解释它为何能缓解震荡
• 能区分固定步长与自适应步长优化器的适用场景与已知取舍
• 能通过损失曲线诊断学习率过大或过小，并给出调整方向
• 能说明批归一化与随机失活在训练与评估阶段行为不同的原因

核心讲解

实践任务

在同一个模型与数据上对比至少三种优化器与学习率组合的收敛曲线，并记录出现发散与停滞的具体设置。

• 固定模型、数据与随机种子，分别用不带动量、带动量的随机梯度下降与一种自适应优化器训练相同轮数，记录损失曲线。
• 对其中一种优化器扫描至少四个数量级的学习率，记录发散与停滞分别出现在哪个量级。
• 加入一种学习率调度策略，对比有无调度时的验证指标变化。
• 在评估阶段分别使用与不使用评估模式各跑一次，记录指标差异，并解释批归一化与随机失活各自造成的影响。

自测与答案

今日完成标准

• 提交三种优化器在相同种子下的损失曲线对比
• 提交学习率扫描记录，明确指出发散与停滞出现的量级
• 提交有无学习率调度、有无评估模式两组对照的指标差异与解释

常见错误与纠正提示

• 直接照搬他人的优化器与学习率配置，不在本任务上验证
• 把训练不收敛一律归因于模型结构，不先排查学习率与梯度清零
• 评估时未切换模式，得到偏低且不稳定的指标却去调整模型

分层任务

关联知识点

• 深度学习框架
• 大模型训练

延伸阅读

• PyTorch: torch.optim（PyTorch 官方文档）
• PyTorch: Autograd mechanics（PyTorch 官方文档）

本日概要

卷积网络利用图像的两个先验：局部性——相邻像素相关性更强，因此用小窗口提取局部特征；平移不变性——同一个特征在图像不同位置都应被识别，因此同一组卷积核在整幅图上共享参数。参数共享使卷积层的参数量远小于同等规模的全连接层。池化通过降采样扩大感受野并提供一定的位移容忍。迁移学习是实际项目中最常用的做法：用在大规模数据上预训练好的骨干网络提取通用特征，只训练新的分类头，或在此基础上以较小学习率微调，能在样本很少时取得远好于从零训练的结果。

学习目标

• 能说明卷积的局部连接与参数共享如何减少参数量并引入平移不变性
• 能解释感受野的概念，以及层数与池化如何影响它
• 能区分冻结特征提取与微调两种迁移策略的适用条件
• 能说明使用预训练权重时必须与训练时保持一致的预处理，并解释不一致的后果

核心讲解

实践任务

用预训练骨干网络完成一个小样本图像分类任务，对比冻结特征提取与微调两种策略的效果与训练成本。

• 选择一个小样本图像数据集，记录样本数、类别数与图像尺寸；载入预训练骨干及其配套预处理。
• 实现冻结特征提取：替换分类头，只训练新层，记录训练时间、显存占用与验证准确率。
• 实现微调：解冻部分深层，对骨干使用较小学习率，记录同样的三项指标并与上一步对比。
• 故意改用一组与预训练不一致的归一化参数重跑，记录准确率下降幅度；再从零训练同一结构作为基线对比。

自测与答案

今日完成标准

• 提交冻结特征提取与微调两种策略的准确率、训练时间与显存占用对比
• 提交预处理不一致对照实验的准确率下降数据
• 提交从零训练基线的结果，并据此说明迁移学习的实际收益

常见错误与纠正提示

• 使用预训练权重却自行设定归一化参数，导致迁移效果不佳且难以定位
• 在样本极少时直接全网络微调，很快过拟合
• 不设从零训练基线，无法量化迁移学习带来的收益

分层任务

关联知识点

• 深度学习框架

延伸阅读

• torchvision: Models and pre-trained weights（PyTorch torchvision 官方文档）
• PyTorch: Build the Neural Network（PyTorch 官方教程）

本日概要

序列数据的特点是顺序本身携带信息。循环网络按时间步依次处理输入并维护一个隐藏状态，把历史信息向后传递。它的结构性困难在于长距离依赖：梯度沿时间步反向传播时会连乘，导致逐步衰减或爆炸，因此难以学到相隔很远的依赖关系。长短期记忆网络引入门控与一条相对畅通的记忆通路来缓解衰减问题，但仍然是顺序计算的——第 t 步必须等第 t-1 步算完，无法在时间维度上并行，这正是后来注意力机制取而代之的主要动因之一。

学习目标

• 能说明循环网络如何通过隐藏状态传递历史信息
• 能解释梯度沿时间步连乘导致衰减或爆炸的机制
• 能说明门控结构缓解长距离依赖问题的思路
• 能指出顺序计算对训练并行度的限制，并把它与后续注意力机制联系起来

核心讲解

实践任务

用循环网络完成一个短文本分类任务，观察序列长度增加时的效果变化，并解释顺序依赖对训练速度的影响。

• 准备一个短文本分类数据集，完成分词与序列长度统计，记录长度分布的分位数。
• 实现一个循环网络分类器，训练并记录准确率，同时记录每轮训练耗时。
• 把输入序列截断为不同长度（如原长的四分之一、二分之一、全长），对比准确率与训练耗时随长度的变化。
• 记录训练中是否出现梯度爆炸，加入梯度裁剪后重跑并对比；写出顺序计算限制并行度的具体表现。

自测与答案

今日完成标准

• 提交序列长度分布统计与不同截断长度下的准确率、耗时对比
• 记录训练过程中的梯度异常现象与梯度裁剪前后的对比
• 用自己的话写出顺序计算对并行度的限制，并说明它如何引出注意力机制

常见错误与纠正提示

• 把长序列效果差一律归因于数据量不足，忽略梯度衰减这一结构性原因
• 用梯度裁剪去解决梯度衰减问题
• 只比较准确率不记录训练耗时，看不到顺序计算的代价

分层任务

关联知识点

• Transformer架构
• 深度学习框架

延伸阅读

• PyTorch: Build the Neural Network（PyTorch 官方教程）
• PyTorch: torch.optim（PyTorch 官方文档）

本日概要

注意力机制把每个位置的表示拆成查询、键、值三个角色：用查询与所有键计算相似度得到一组权重，再用这组权重对值加权求和。这样任意两个位置之间只需一步就能建立关联，不必像循环网络那样逐步传递。缩放点积注意力在计算相似度后除以维度的平方根，目的是避免维度较大时点积数值过大、经归一化后梯度过小。多头机制把表示切分成若干子空间并行做注意力，让模型在不同子空间关注不同类型的关系。由于注意力对位置是对称的，必须显式加入位置编码，否则打乱词序不会改变输出。

学习目标

• 能说明查询、键、值三者的角色，并手工完成一次小规模注意力计算
• 能解释缩放因子的作用，以及缺少缩放在高维时会造成什么问题
• 能说明多头机制的目的，并区分它与增大单头维度的差异
• 能论证位置编码的必要性，并用实验验证注意力本身对顺序不敏感

核心讲解

实践任务

手工计算一个小规模注意力矩阵的完整过程，并用框架实现验证结果，同时验证去掉位置编码后词序被忽略。

• 取一个长度为三、维度为四的小例子，手工写出查询、键、值矩阵，逐步计算点积、缩放、归一化与加权求和的中间结果。
• 用框架的注意力实现计算同一组输入，对比手工结果，确认二者一致。
• 去掉缩放因子并把维度增大，观察归一化后的权重分布如何变得极化，记录数值。
• 构造一段输入并打乱顺序，在没有位置编码的情况下对比输出集合是否改变；再加入位置编码重复实验并记录差异。

自测与答案

今日完成标准

• 提交手工计算的完整中间结果，并与框架实现的输出一致
• 提交去掉缩放后权重分布极化的数值记录
• 提交位置编码有无两种情况下打乱词序的输出对比

常见错误与纠正提示

• 把注意力理解为「模型自己会关注重点」的隐喻，说不出查询、键、值的具体计算
• 认为多头等价于把单头维度增大，忽略不同头可学到不同关系
• 忘记位置编码，模型对词序完全不敏感却难以定位原因

分层任务

关联知识点

• Transformer架构

延伸阅读

• Attention Is All You Need（arXiv 论文页面）
• PyTorch: torch.nn.MultiheadAttention（PyTorch 官方文档）

本日概要

从能跑通到能复现，中间隔着一整套工程习惯。可复现的最低要求是：固定随机种子、记录框架与驱动版本、记录数据版本与划分方式、保存完整的超参数配置。使用加速设备时还要注意数据在设备之间的搬运往往是瓶颈——数据加载线程数、批大小与显存占用需要一起调。混合精度可以显著提升吞吐并降低显存占用，但要确认结果的精度损失在可接受范围内。最重要的一条是：每次实验只改一个变量，否则得到的差异无法归因。

学习目标

• 能列出一次深度学习实验可复现所必需的记录项
• 能诊断训练瓶颈在数据加载还是在计算，并给出对应的调整方向
• 能说明批大小、显存占用与学习率之间的相互影响
• 能设计单变量对照实验，使观察到的差异可以被正确归因

核心讲解

实践任务

在加速设备上训练一个图像分类器，记录完整的可复现配置，并做一次单变量对照实验说明某项改动的实际收益。

• 编写训练脚本，让它在启动时打印并保存完整的可复现配置清单（种子、版本、数据划分、超参数、硬件）。
• 训练过程中记录加速设备利用率，判断瓶颈在数据加载还是计算，并写出判断依据。
• 针对判定的瓶颈做一次单变量改动（如调整数据加载线程数或开启混合精度），记录改动前后的每轮耗时与最终指标。
• 在同一配置下重复训练三次，记录指标的波动范围，并据此判断上一步的改动是否为真实提升。

自测与答案

今日完成标准

• 提交完整的可复现配置清单，他人依此可重跑实验
• 提交瓶颈判断依据与单变量改动前后的耗时与指标对比
• 提交同配置重复三次的指标范围，并据此判断改动是否为真实提升

常见错误与纠正提示

• 一次实验改动多个变量，结果差异无法归因
• 未记录数据划分种子，重跑时得到不同划分而误以为模型不稳定
• 在设备利用率很低时投入精力优化模型结构

分层任务

关联知识点

• 深度学习框架

延伸阅读

• PyTorch: torch.optim（PyTorch 官方文档）
• PyTorch: Build the Neural Network（PyTorch 官方教程）
• torchvision: Models and pre-trained weights（PyTorch torchvision 官方文档）

本日概要

本周收尾把结构演进串成一条有内在逻辑的线：全连接不利用任何结构先验，参数量大且难以扩展到高维输入；卷积引入局部性与平移不变性，用参数共享换来效率与鲁棒性；循环网络引入时间维度的状态传递以处理变长序列，但受制于梯度衰减与顺序计算；注意力放弃顺序递推，让任意两个位置直接关联，换来并行能力与长距离建模，代价是平方复杂度与需要显式位置信息。理解每一步「解决了什么、引入了什么新代价」，比记住每种结构的公式更重要，也是判断新模型是否适合自己任务的基础。

学习目标

• 能按「引入的先验—解决的问题—新增的代价」三要素描述每一次结构演进
• 能为图像、序列与长文本三类任务分别选择合适的结构并说明理由
• 能说明为什么结构选择要与数据量、序列长度和算力预算一起考虑
• 能整理出一份深度学习实验的个人检查清单

核心讲解

实践任务

画出从全连接到注意力的结构演进图，为每一步标注引入的先验、解决的问题与新增的代价，并据此为三个任务各选一种结构。

• 画出从全连接到卷积、循环、注意力的演进图，为每一步标注引入的先验、解决的问题与新增代价。
• 为图像分类、短文本分类、长文档理解三个任务各选一种结构，写出选择理由与被放弃方案的原因。
• 为每个选择补充数据量、序列长度与算力预算三个现实约束的评估，并说明约束变化时选择会如何改变。
• 整理本周的个人实验检查清单，逐条写出「不做会发生什么」，并至少举一个本周实验中亲历的例子。

自测与答案

今日完成标准

• 提交演进图，每一步三要素齐全
• 三个任务各有结构选择、理由、放弃原因与三项现实约束评估
• 提交个人检查清单，每条附「不做会发生什么」与一个亲历例子

常见错误与纠正提示

• 只记住各种结构的公式，说不出每一步解决了什么问题、引入了什么代价
• 选择结构时只看任务类型，不评估数据量、序列长度与算力预算
• 把论文中的最优结构直接套用到自己的小数据集上

分层任务

关联知识点

• 深度学习框架
• Transformer架构

延伸阅读

• Attention Is All You Need（arXiv 论文页面）
• PyTorch: torch.nn.MultiheadAttention（PyTorch 官方文档）
• torchvision: Models and pre-trained weights（PyTorch torchvision 官方文档）