第6周：机器学习基础

本日概要

机器学习要解决的是「从数据中学到一个能在没见过的数据上表现良好的函数」，因此真正的评价标准从来不是训练集上的表现。监督学习有带标签的目标，无监督学习只有输入结构，强化学习通过与环境交互获得反馈。贯穿全周的核心概念是泛化：模型在训练集上误差很小但在新数据上很差，叫过拟合；训练集上就学不好，叫欠拟合。要在建模一开始就把数据划分为训练、验证与测试三部分，测试集只在最后使用一次；这不是流程洁癖，而是防止用测试集反复调参后得到虚高的成绩。

学习目标

• 能区分监督学习、无监督学习与强化学习，并为具体任务选择合适的类型
• 能用训练误差与验证误差的关系判断模型处于欠拟合还是过拟合
• 能说明训练集、验证集与测试集各自的用途，以及为什么测试集只能用一次
• 能解释交叉验证的作用，并说明它在小数据集上为什么比单次划分更可靠

核心讲解

实践任务

用一个公开数据集训练两个复杂度不同的模型，绘制训练与验证得分随复杂度变化的曲线，指出过拟合的起点。

• 载入一个公开数据集，记录样本数、特征数与类别分布，并按训练/验证/测试三部分划分，写明划分比例与随机种子。
• 训练一个欠拟合模型（如高度正则化的线性模型）与一个过拟合模型（如不限深度的决策树），分别记录训练与验证得分。
• 逐步调整复杂度参数，绘制训练与验证得分曲线，标出两条曲线开始分叉的位置。
• 对同一模型做 k 折交叉验证，记录 k 次得分的均值与标准差；再故意在划分前做一次全局标准化，对比得分差异并解释信息泄漏为什么会让分数虚高。

自测与答案

今日完成标准

• 提交数据划分说明（比例、随机种子、类别分布）与两个不同复杂度模型的得分对比
• 提交训练/验证得分曲线并标出过拟合起点
• 提交交叉验证的均值与标准差，以及信息泄漏对比实验的结果与解释

常见错误与纠正提示

• 用训练集得分汇报模型效果，或反复用测试集调参后仍以测试集分数为准
• 在划分前对全部数据做标准化或特征选择，造成信息泄漏
• 只报告交叉验证的平均分，忽略折间方差反映的稳定性问题

分层任务

关联知识点

• 机器学习基础

延伸阅读

• scikit-learn: Cross-validation（scikit-learn 官方用户指南）
• scikit-learn: Common pitfalls and recommended practices（scikit-learn 官方用户指南）

本日概要

线性模型是理解所有监督学习的起点，也是最容易被解释的模型。线性回归用最小二乘拟合连续目标；逻辑回归虽然名字里有回归，实际是分类模型，它用线性组合加上一个把实数映射到零一区间的函数得到概率，再由阈值决定类别。正则化通过在损失中加入系数惩罚来控制复杂度：L2 让系数整体收缩，L1 会把部分系数压到零从而具有特征选择效果。线性模型的价值不只在于精度，更在于系数可解释——但解释的前提是特征已标准化、共线性已检查，否则系数大小不能直接比较。

学习目标

• 能说明逻辑回归为什么是分类模型，以及概率与阈值的关系
• 能解释 L1 与 L2 正则化对系数的不同影响，并选择适用场景
• 能指出解释线性模型系数的前提条件，包括标准化与共线性检查
• 能说明改变分类阈值如何在查准率与查全率之间移动，并结合业务代价选择阈值

核心讲解

实践任务

用逻辑回归完成一个二分类任务，比较有无正则化的系数分布与验证得分，并解释哪些系数可以被解释、哪些不能。

• 选择一个二分类数据集，完成缺失值处理与标准化，记录每一步的处理方式与理由。
• 训练无正则化与不同强度 L2 正则化的逻辑回归，记录验证得分与系数分布的变化。
• 改用 L1 正则化，记录被压到零的特征数量，并对比 L1 与 L2 在本数据集上的得分差异。
• 计算特征间相关系数矩阵，找出高度相关的特征对；在报告中标明哪些系数可以解释、哪些因共线性不宜单独解释，并说明结论是关联而非因果。

自测与答案

今日完成标准

• 提交预处理说明、三组正则化设置下的验证得分与系数分布对比
• 提交 L1 下被置零的特征清单，并解释与 L2 结果差异的原因
• 报告中明确标出哪些系数不宜单独解释及理由，并声明结论为关联而非因果

常见错误与纠正提示

• 未标准化就使用正则化，或直接比较未标准化模型的系数大小
• 把逻辑回归的系数读作因果效应，忽略混杂因素
• 固定使用零点五阈值，不结合漏检与误报的业务代价调整

分层任务

关联知识点

• 机器学习基础

延伸阅读

• scikit-learn: Linear Models（scikit-learn 官方用户指南）
• scikit-learn: Preprocessing data（scikit-learn 官方用户指南）

本日概要

树模型通过不断按特征取值划分样本来做预测，天然能处理非线性关系与特征间交互，且不要求特征标准化。单棵决策树容易过拟合，集成方法因此成为主流：随机森林用自助采样与随机特征子集训练多棵树并取平均，主要降低方差；梯度提升按顺序训练树，每棵新树拟合前面所有树的残差，主要降低偏差。XGBoost 属于后者，其官方文档把目标函数明确写成「训练损失加正则项」的形式——这解释了为什么树的数量、深度与学习率必须一起调，而不是单独增大任何一个。

学习目标

• 能说明决策树的划分依据，以及为什么单棵深树容易过拟合
• 能区分随机森林与梯度提升在降低方差与降低偏差上的不同侧重
• 能解释学习率与树数量之间的相互作用，并据此设计调参顺序
• 能正确解读特征重要性，并说明它不能被当作因果证据的原因

核心讲解

实践任务

用梯度提升模型完成一个回归任务，对比不同树数量与学习率组合的验证表现，并用特征重要性解释模型关注了什么。

• 选择一个回归数据集，划分训练与验证集，训练一棵不限深度的决策树并记录训练与验证误差的差距。
• 训练随机森林与梯度提升模型，在相同划分下对比三者的验证误差。
• 固定较小学习率，用早停确定树的数量；再改用两倍学习率重复一次，记录所需树数与最终得分的变化。
• 分别计算基于增益的特征重要性与排列重要性，对比两份排名的差异，并在结论中写明重要性不等于因果。

自测与答案

今日完成标准

• 提交单棵树、随机森林与梯度提升在同一划分下的验证误差对比
• 提交两组学习率下的早停树数与得分记录，说明二者的替代关系
• 提交两种特征重要性的排名对比，并在结论中标明其解释边界

常见错误与纠正提示

• 只增加树的数量而不调学习率，或反过来，得到无法复现的最优值
• 直接把特征重要性排名当作业务因果结论汇报
• 对树模型做不必要的特征标准化，误以为这是必需步骤

分层任务

关联知识点

• 机器学习基础

延伸阅读

• scikit-learn: Ensembles（scikit-learn 官方用户指南）
• XGBoost: Introduction to Boosted Trees（XGBoost 官方文档）

本日概要

无监督学习没有标签可对照，因此「结果对不对」需要用别的方式回答。K-Means 通过迭代把样本分配到最近的簇中心并更新中心，它隐含假设簇是大小相近的球形且对特征尺度敏感；簇数需要人为指定，肘部法与轮廓系数只能提供参考而非答案。降维中，主成分分析寻找方差最大的正交方向，用于压缩与可视化，主成分是原始特征的线性组合，通常没有直接的业务含义。用聚类做客户分群时，真正的检验不是内部指标，而是分出来的群体在业务上是否可区分、可行动。

学习目标

• 能说明 K-Means 的迭代过程及其对簇形状、尺度与初始值的假设与敏感性
• 能用肘部法与轮廓系数辅助选择簇数，并说明这些指标为什么不能单独作为结论
• 能解释主成分分析的目标与主成分的可解释性限制
• 能设计一套结合内部指标与业务可行动性的聚类结果检验方法

核心讲解

实践任务

对一份客户数据做标准化后聚类，用轮廓系数与业务解释共同判断簇数，并用主成分分析做二维可视化。

• 对客户数据做缺失处理与标准化，记录每个特征的量纲与处理方式。
• 对若干候选簇数分别运行 K-Means（每个簇数使用多次随机初始化），记录簇内平方和与轮廓系数，绘制曲线。
• 用主成分分析降到二维做散点可视化，观察簇的分离程度，并记录前两个主成分解释的方差比例。
• 为最终选定的簇数制作按簇的业务指标对照表，为每个簇写出一句可执行动作；若某个簇写不出动作，说明原因并提出改进方向。

自测与答案

今日完成标准

• 提交标准化说明与多个候选簇数下的簇内平方和、轮廓系数曲线
• 提交主成分二维可视化及前两主成分的解释方差比例
• 提交按簇的业务指标对照表与每个簇的可执行动作建议

常见错误与纠正提示

• 未标准化直接聚类，结果由量纲最大的特征决定
• 只凭肘部法或轮廓系数确定簇数，不检验业务可解释性
• 把主成分直接解释为某个业务维度，忽略它只是线性组合

分层任务

关联知识点

• 机器学习基础

延伸阅读

• scikit-learn: Clustering（scikit-learn 官方用户指南）
• scikit-learn: Decomposing signals in components（scikit-learn 官方用户指南）
• scikit-learn: Preprocessing data（scikit-learn 官方用户指南）

本日概要

特征工程往往比换模型带来的收益更大，但也最容易引入难以察觉的错误。核心纪律只有一条：任何需要从数据中学习参数的步骤，都必须只用训练数据拟合，再应用到验证与测试数据上。缺失值填充的统计量、标准化的均值方差、类别编码的取值映射、特征选择的筛选依据，全都属于这一类。把这些步骤与模型组装成管道，是从结构上防止泄漏的做法，而不是靠人记得先后顺序。此外还要警惕时间穿越：用了预测时刻还不可能知道的信息，离线分数会好得不真实。

学习目标

• 能列举哪些预处理步骤会从数据中学习参数，从而必须放进管道
• 能用管道结构实现「只用训练折拟合预处理」，并说明它相对手工顺序的优势
• 能识别时间序列场景中的时间穿越，并设计相应的划分方式
• 能为类别特征选择合适的编码方式，并说明高基数类别的处理取舍

核心讲解

实践任务

为一份含缺失值与类别特征的数据构建完整预处理管道，并用一次故意的泄漏对照实验量化分数虚高的幅度。

• 列出数据中所有需要预处理的列，标注每列的处理方式，并区分「需要从数据学习参数」与「无需学习」两类。
• 构建包含缺失值填充、标准化与类别编码的管道，将其与模型组装后做交叉验证，记录得分。
• 故意先对全量数据做标准化与填充再划分，重复交叉验证，记录两次得分差距并解释成因。
• 对每个特征回答「预测时刻是否已可得」，标出可疑的目标泄漏特征；若数据含时间字段，改用按时间切分重新评估并对比得分。

自测与答案

今日完成标准

• 提交列级预处理清单，明确区分需要学习参数与不需要的步骤
• 提交管道版本与泄漏版本的交叉验证得分对比及差距解释
• 提交特征可得性审查表；含时间字段的数据须提交按时间切分的评估结果

常见错误与纠正提示

• 先对全量数据标准化再划分，交叉验证得分虚高而上线后骤降
• 对高基数类别直接独热编码，产生大量稀疏列且未评估代价
• 在时间序列上使用随机划分，造成用未来预测过去

分层任务

关联知识点

• 机器学习基础

延伸阅读

• scikit-learn: Preprocessing data（scikit-learn 官方用户指南）
• scikit-learn: Common pitfalls and recommended practices（scikit-learn 官方用户指南）
• scikit-learn: Cross-validation（scikit-learn 官方用户指南）

本日概要

评估指标的选择本身就是一次业务决策。准确率在类别极不平衡时会失去意义——一个全部预测为多数类的模型也能拿到很高的准确率。查准率关心「预测为正的里面有多少真的是正」，查全率关心「真正的正例里有多少被找出来」，二者随阈值此消彼长；F1 是它们的调和平均，适合需要平衡时使用。ROC 曲线下面积衡量的是排序能力且不受阈值影响，但在正例极少时，查准率-查全率曲线更能反映真实表现。回归任务同理：平均绝对误差与均方根误差对大误差的敏感程度不同，选哪个取决于业务上是否更怕极端错误。

学习目标

• 能说明准确率在类别不平衡时失效的原因，并给出替代指标
• 能从混淆矩阵推导查准率、查全率与 F1，并解释阈值移动对它们的影响
• 能区分 ROC 曲线与查准率-查全率曲线的适用场景
• 能结合漏检与误报的业务代价，用期望损失选择工作阈值

核心讲解

实践任务

在一个类别不平衡的数据集上对比多个指标，绘制两类曲线，并结合漏检与误报的代价选出工作阈值。

• 在一个类别不平衡的数据集上训练模型，输出混淆矩阵，并由此手工计算准确率、查准率、查全率与 F1。
• 绘制 ROC 曲线与查准率-查全率曲线，记录两者的曲线下面积，说明在本数据的不平衡程度下应以哪条为准。
• 扫描一组阈值，记录每个阈值下的查准率、查全率与预测为正的数量，形成对照表。
• 为漏检与误报分别设定业务代价（可为假设值但须标明），计算各阈值下的期望损失并选出工作阈值，说明选择依据。

自测与答案

今日完成标准

• 提交混淆矩阵与由此手工推导的四个指标，数值与库函数结果一致
• 提交两类曲线及其面积，并说明在本数据不平衡程度下应以哪条为准
• 提交阈值扫描对照表与基于期望损失的阈值选择过程，代价假设已明确标注

常见错误与纠正提示

• 在不平衡数据上以准确率作为主要指标汇报效果
• 只报告单一 F1 分数，掩盖查准率与查全率之间的业务权衡
• 回归任务只看误差均值，不看误差分布与极端值

分层任务

关联知识点

• 机器学习基础

延伸阅读

• scikit-learn: Metrics and scoring（scikit-learn 官方用户指南）
• scikit-learn: Common pitfalls and recommended practices（scikit-learn 官方用户指南）

本日概要

本周收尾把「算法—场景—评估」串成一条可复用的判断链。面对一个新问题，合理的顺序是：先确定它是不是机器学习问题（有没有可获得的标签、规则能否直接写出、错误的代价是否可承受），再确定任务类型与评估指标，然后才是选模型。模型选择的默认起点应当是简单模型加完整的评估流程，而不是直接上最复杂的方法——简单模型给出的基线，是判断后续复杂化是否值得的唯一依据。整条链上真正决定成败的，往往是数据划分是否正确、有没有泄漏、指标是否匹配业务，而不是算法本身。

学习目标

• 能判断一个问题是否适合用机器学习解决，并说出不适合时的替代方案
• 能按任务类型与业务代价选择主指标与辅助指标
• 能设计一个合理的基线，并用它判断更复杂的模型是否值得
• 能把数据划分、泄漏检查与指标选择整理成一份可复用的检查清单

核心讲解

实践任务

为三个不同的业务问题各写一份判断链说明：是否适合机器学习、任务类型、评估指标、基线模型与判断复杂化是否值得的标准。

• 选择三个不同的业务问题，逐个回答「是否适合机器学习」的三个前置问题，并对不适合的给出替代方案。
• 为适合的问题写出任务类型、预测对象、时间口径与标签定义，指出定义模糊会造成的具体影响。
• 为每个问题指定主指标与至少一个辅助指标，说明选择依据与对应的业务代价。
• 为每个问题设计一个基线，写出「复杂模型需要超过基线多少才值得」的判断标准；最后整理出本周的个人检查清单。

自测与答案

今日完成标准

• 三个问题各完成前置判断、任务定义、指标选择与基线设计
• 每个问题写出复杂化是否值得的量化判断标准
• 提交个人检查清单，覆盖划分、泄漏、指标、基线与因果表述五个方面

常见错误与纠正提示

• 跳过「是否适合机器学习」的判断，为规则明确的问题强行建模
• 标签定义模糊就开始构造数据，后期发现口径不一致只能返工
• 不设基线，用一个孤立的分数论证模型有效

分层任务

关联知识点

• 机器学习基础

延伸阅读

• scikit-learn: Common pitfalls and recommended practices（scikit-learn 官方用户指南）
• scikit-learn: Metrics and scoring（scikit-learn 官方用户指南）
• scikit-learn: Cross-validation（scikit-learn 官方用户指南）