前言
神经网络，听起来高大上的一个名词，他是人工智能领域不可或缺的组成部分。作为一个自学的小白，我跟大家一起分享一下自己的学习心得。其中可能存在错误，欢迎指正。
神经网络的基本结构
下图是一个基本的神经网络的结构，神经网络包括3个主要元素：输入、权重、激活函数。输入的数据有不同的权重，每个神经元根据所有输入的数据以及激活函数判断输出的值，这即为神经网络最基本的结构。
图1 神经网络结构图
我们以Xj表示输入，Wj表示该输入的权重，常用的激活函数有：
阀值函数：
公式1 阀值函数
其中threshold为阀值。为了简化书写，我们令b=-threshold，且将Xj和Wj分别以向量X和W的形式表示。
公式2 阀值函数化简
Sigmoid(S型)函数:
公式3 Sigmoid(S型)函数
把它们放在⼀起来更清楚地说明，⼀个具有输⼊x1，x2，...，权重w1，w2，...，和偏置b 的S型神经元的输出是：
公式4 Sigmoid(S型)函数
S型函数在输入为很大整数时输出1，在输入为很小的负数时输出0。与阀值函数近似。
