神经网络过度拟合意味着什么？

当你过度拟合神经网络时，你实际上是在将你的参数（权重和偏差）调整到令人难以置信的高度。例如，您的训练数据的分类准确度可能为 95%，测试/验证数据的准确度可能为 40%。过度拟合的一个好迹象是当测试/验证数据的损失大大超过训练损失时。

但为什么这种调整会对训练和测试/验证产生如此大的影响呢？

想一想 10 次多项式和线性最佳拟合线之间的区别。当然，前者可能会扭转和转向以满足每个点（似乎是最佳选择），但是当您添加尚未训练的额外数据时，多项式会严重失败，这与稳定的线性最佳拟合线不同，后者概括为数据好多了。

更好的类比可能是这样的：

当然，就最低成本和 1:1 适合而言，这是特定人（训练数据）的最佳床，但如果另一个稍高或稍大的人睡在那里（测试/验证数据），这将是一个可怕的选择。线性最佳贴合线可能是普通的大号床：不要太大而浪费金钱，但仍然适合大多数体型。