BN在深度学习训练和测试阶段的区别?BN在训练时是如何更新参数的?

对于BN,在训练时,是对每一批的训练数据进行归一化,也即用每一批数据的均值和方差。

而在测试时,比如进行一个样本的预测,就并没有batch的概念,因此,这个时候用的均值和方差是全量训练数据的均值和方差,这个可以通过移动平均法求得。

对于BN,当一个模型训练完成之后,它的所有参数都确定了,包括均值和方差,gamma和bata。

蓝海大脑为满足深度学习BN平台用户的需要,经过多年的努力,成功研发出集支持一键式部署;支持多种CPU、GPU多种部署模式;无缝对接对象存储海量训练数据等优点为一体的深度学习平台。

蓝海大脑 京ICP备18017748号-1