什么是过拟合,解决过拟合的方法有哪些?

过拟合:模型在训练集上拟合的很好,但是模型连噪声数据的特征都学习了,丧失了对测试集的泛化能力。


解决过拟合的方法:

1.重新清洗数据,数据不纯会导致过拟合,此类情况需要重新清洗数据或重新选择数据。

2.增加训练样本数量。使用更多的训练数据是解决过拟合最有效的手段。我们可以通过一定的规则来扩充训练数据,比如在图像分类问题上,可以通过图像的平移、旋转、缩放、加噪声等方式扩充数据;也可以用GAN网络来合成大量的新训练数据。

3.降低模型复杂程度。适当降低模型复杂度可以避免模型拟合过多的噪声数据。在神经网络中减少网络层数、神经元个数等。

4.加入正则化方法,增大正则项系数。给模型的参数加上一定的正则约束,比如将权值的大小加入到损失函数中。

5.采用dropout方法,dropout方法就是在训练的时候让神经元以一定的概率失活。

6.提前截断(early stopping),减少迭代次数。

7.增大学习率。

8.集成学习方法。集成学习是把多个模型集成在一起,来降低单一模型的过拟合风险,如Bagging方法。


蓝海大脑 京ICP备18017748号-1