目录

1. 模型选择

1.1 训练误差 vs. 泛化误差

1.2 验证数据集 vs. 测试数据集

1.3 K-折交叉验证

1.4 总结

2. 过拟合与欠拟合（核心知识）

2.1 过拟合 vs. 欠拟合

2.2 模型容量

2.3 估计模型容量

2.4 VC维  衡量模型容量

2.5 数据复杂度

3. 代码样例 (过拟合 vs. 欠拟合)

---

 

1. 模型选择

1.1 训练误差 vs. 泛化误差

 

1.2 验证数据集 vs. 测试数据集

• 验证数据集 (validation dataset) 不参加训练，用来调参 (调整模型结构)，能够反映超参数的好坏
• 测试数据集 (test dataset) 只能使用一次，不能用来调超参数

 

李沐老师：

• 拿测试集来调参（当验证集使用）发论文，是很严重的事情
• 验证数据集相当于模拟考试
• 测试数据集相当于期末考试

李沐老师：

• 咱教材里的test dataset并不是真正的测试数据集，本质上是验证数据集
• 真正的测试集是新的数据集，甚至标号都未知

 

1.3 K-折交叉验证

• 这里的例子是把数据集分成三块，训练三个epoch，迭代三次（跑三遍数据）
• 每次拿一块出来作为验证集，最后拿到三个验证精度（或者误差）
• 把这三个精度做平均，便能得到K-则交叉验证的误差
• （例子里的方法又叫“留一法”）
• K=5 指的是迭代5次（跑5遍数据）
• K值的设定，需要权衡数据集的大小，数据集特别大，K可以设为2或3 
• （K值设定得越大，越贵）
• K-折交叉验证是最常用的验证所设超参数效果的方法

 

1.4 总结

 

2. 过拟合与欠拟合（核心知识）

2.1 过拟合 vs. 欠拟合

模型容量：

• 低：比如简单线性模型
• 高：比如多层感知机

数据：

• 简单：如第三章简单线性回归的人工合成数据集
• 适中：如Fashion-MNIST
• 复杂：如ImageNet

 

2.2 模型容量

李沐老师：

• 过拟合不一定是坏事，为了把泛化误差往下降，不得不承受一定程度的过拟合
• 首先是模型容量要足够（模型足够大）（伴随一定的过拟合）
• 其次才是通过（缩减容量、正则化-权重衰退、早停等方法）调整模型容量，缩小误差
• （这是整个深度学习的核心）

 

2.3 估计模型容量

智谱AI：

1. d - 数据维度:

• 通常指的是输入数据的维度。在处理特征向量时，如果每个数据样本是一个向量，那么 d 就是该向量的长度
• 例如，如果每个样本是一个包含100个特征的数据点，那么 d = 100
• 在图像处理中，如果图像被展平成一个一维向量，d 代表这个向量的长度，这通常是图像的 高度 * 宽度 * 颜色通道数

2. m - 中间变量维度:

• m 经常用来表示神经网络中间层的大小，即隐藏层的神经元数量
• 神经元：在神经网络中，无论是隐藏层还是输出层，层的“单元”数通常就是指该层中神经元的数量

3. k - 输出结果维度:

• 通常指的是输出层的维度，即分类任务中的类别数量
• 在多类分类问题中，如果模型需要预测10个不同的类别，那么 k = 10

 

2.4 VC维  衡量模型容量

二维输入：

• 例如简单线性模
• 线性模型试图找到一条直线来分割数据
• 寻找一个输入和一个输出之间的关系

三维输入：

• 例如XOR
• XOR试图找到两条直线来分割数据
• 寻找两个输入和一个输出之间的异或关系

李沐老师：

• VC维只是理论拓展，能够一定程度解释模型
• VC维很少用到深度学习上

 

2.5 数据复杂度

李沐老师：

• 相比模型复杂度，数据复杂度更不好衡量啦！
• 判断复杂与否，更多的是靠 (调参) 经验，靠比较 (不同数据集) 的出来的
• 自动机器学习（AutoML包含自动调参）还在路上

 

3. 代码样例 (过拟合 vs. 欠拟合)