神经网络到底是什么？它们是如何创建的？

神经网络是具有一些参数的任何系统，并且根据某些给定输入的实际输出和期望输出之间的差异，可以推导出如何修改参数以减少差异。

这样就可以在循环中重复参数改进的过程，即训练网络。然而，导出正确的参数修改（所谓的梯度）的能力限制了可以组合系统的组件。组件的充分条件是它们代表一个我们可以用符号方式表达的导数函数，但有时我们可以使用更奇特的组件。它还取决于我们如何衡量实际输出和期望输出之间的差异 - 所谓的损失函数。所有其他功能均开放。

当然，我们主要寻找具有学习（几乎）任何东西的能力的架构，例如具有非线性激活的感知器。当前成功的网络（深度学习）主要基于（深度）自动编码器，有时与感知器相结合。