今天记录一下我花了一些时间才理解的一个概念 —— 指数衰减法（exponential decay）
为什么要使用指数衰减法
在神经网络的参数更新过程中，学习率不能太大也不能太小，太大可能会导致参数在最优值两侧来回移动，太小会大大降低优化速度，为了解决学习率的问题，TensorFlow 提供了一种灵活的学习率设置方法，即指数衰减法。
函数及参数
对应的命令为 tf.train.exponential_decay，通过这个函数，可以先使用较大的学习率来快速得到一个比较优的解，然后随着迭代的继续逐步减小学习率，使得模型在训练后期更加稳定。
这个函数的参数为
- learning_rate —— 事先设定的初始学习率，
- global_step —— 当前迭代轮数
- decay_steps —— 衰减速度，即多少轮可以迭代完一次所有样本数据
- decay_rate —— 衰减系数
- staircase —— boolean 型，默认为 False，暂时不讲它的作用
- name 名字，默认为 None
原理
每迭代一轮，新的学习率都会根据以上参数更新一次，式子如下
decayed_learning_rate = learning_rate * decay_rate ^ (global_step / decay_steps)
式子比较长，不过用到的都是上面介绍的参数，这个式子实质上就是一个指数乘上一个常数，最后得到新一轮的学习率，由于我们的目的是减小学习率，所以根据指数的知识，decay_rate 必须在零到一之间，只有这样，随着指数项即（global_step / decay_steps）的增大，新一轮的学习率才是减小的。
那么为什么这个式子得到的新学习率减小的程度是在降低的呢，我们可以对上式求导，由于上式的右边除了 global_step，其他项都是常数，所以可以把上式简写为
y = a * (b^x)
对其求导结果为
y` = a * ln(b) * (b^x)
由于 b 在零到一之间，所以随着 x 的增大，导数在减小，即新学习率的变化率在减小，也就是衰减的程度在降低。
如此就实现了开头所说的
通过这个函数，可以先使用较大的学习率来快速得到一个比较优的解，然后随着迭代的继续逐步减小学习率，使得模型在训练后期更加稳定。
