深度网络loss除以10和学习率除以10是不是等价的?

深度网络的loss除以10和学习率除以10并不是完全等价的。

深度网络的loss除以10意味着将原始的loss值缩小10倍,有效地防止梯度爆炸的问题,但也可能导致训练过程收敛速度变慢。

而学习率除以10则是将原始的学习率缩小10倍,这样做的目的是为了减小每次参数更新的步长,以便更小幅度地调整模型参数。


蓝海大脑 京ICP备18017748号-1