在上一发已经介绍了神经网络的背景以及近些年的发展，当然也是近些年的神经网络的复兴使得大家又一次聚焦在他的身上。那么本次将介绍神经网络的基本概念以及求解算法。
神经网络的来源应该有生物学上的启发，以神经生物学中的神经元的概念为原型。神经元包括细胞体、树突、轴突还有突触（如图），突触是由上一个神经元的树突和当前神经元的轴突构成，神经元之间通过突触相连来传递信息，细胞体用来处理信息。
那么神经网络算法是如何借鉴上面的思想的呢？在神经网络算法中包括三个基本概念（如图）：
输入层：最左层，表示数据的输入
隐含层：中间层，表示神经网络的模型
输出层：最右层，表示模型的输出
那么从上面的概念就可以知道，神经网络包括三层，分别是模型的输入、模型以及模型的输出。那么就很容易理解了，输入和输出是已知的，未知的就是模型。那模型是如何表示的呢？
神经网络模型
这里还要借鉴神经元的思想，上图中每一层的一个节点就可以认为是一个神经元的细胞体，神经元之间的连线表示神经元之间的信息传递（突触），为了表示非线性的运算，这里细胞体选用sigmoid函数，或者其他非线性的函数tanh等，本文以sigmoid函数为例。那么神经网络中的每个神经元的模型就可以表示为：f(x)=sigmoid(∑wx+b)，如下图所示。
那么也就是每个神经元都是上层与他相连的神经元乘以连接权重(wx)，然后求和∑wx+b，然后在做一个非线性的运算f(x)=sigmoid(∑wx+b)。简单的理解为当前神经元是上层与他相连神经元的线性组合的非线性运算。
模型有了，那么给定参数w和b，就可以从做向右求得模型的输出值。但是模型输出与实际的输出值可能不一致，那么该如何调整参数呢？这就要靠神经网络中经典的反向传播（BP）算法了。
反向传播算法