广义线性模型是怎被应用在深度学习中?

A Statistical View of Deep Learning (I): Recursive GLMs


深度学习从统计学角度,可以看做递归的广义线性模型。


广义线性模型相对于经典的线性模型(y=wx+b),核心在于引入了连接函数g(.),形式变为:y=g−1(wx+b)。


深度学习时递归的广义线性模型,神经元的激活函数,即为广义线性模型的链接函数。逻辑回归(广义线性模型的一种)的Logistic函数即为神经元激活函数中的Sigmoid函数,很多类似的方法在统计学和神经网络中的名称不一样,容易引起初学者(这里主要指我)的困惑。


蓝海大脑 京ICP备18017748号-1