为什么更深的网络更好?
方法: 该数据集由沿着 x 轴的 16 个等距点组成,每对相邻点都属于相反的类。一种特殊类型的深度神经网络(一种跨层共享权重的神经网络)具有固定数量(152)的参数,但测试了层的不同数量。
假设: 随着具有固定数量参数的神经网络中层数的增加,困难的分类问题的正确率将得到提高。
运行实验所需的时间: 28.688 s
此处,红点和蓝点代表属于不同类别的点。黑色的虚线表示最接近神经网络学习的训练数据近似值(若神经网络分配的分数大于零,则被预测为红点;否则,被预测为蓝点)。零线显示为黑色。
结论: 在大多实验中,正确率随深度的增加而增加。
讨论: 似乎更深的层允许从输入到输出的学习到的函数出现更多“急弯”。这似乎跟神经网络的轨迹长度有关(即衡量输入沿着固定长度的一维路径变化时,神经网络的输出量是多少)。
蓝海大脑 京ICP备18017748号-1