误差：

模型越复杂，平均误差反而越大。这种error的主要来源是偏差bias和方差variance。
由真实数据训练得到的模型与理想模型之间存在的差距就算是偏差和方差导致的。
不同模型的偏差和方差不同。
偏差大说明欠拟合。
方差大说明过拟合。
因此需要在偏差和方差之间权衡一个模型，使得总误差最小。可以通过交叉验证或者n折交叉验证得到的准确率来选择。

梯度下降法：

这是一种更新参数值的方法。就是每次更新的幅度，由当前数值下的偏导数乘以学习率来决定。
自适应学习率：随着训练次数的增加，学习率也会动态地发生变化。一开始的时候初始点会离最低点很远，所以使用学习率大一些比较好。参数更新几次之后，比较靠近最低点了，可以减少学习率。