储蓄池的四个参数
储蓄池是这类网络的核心结构,所谓的储蓄池就是随机生成的、大规模的、稀疏连接(通常保持1%-5%连接)的递归结构。
ESN或LSM的最终性能是由储备池的各个参数决定的,包括:储备池内部连接权谱半径SR、储备池规模N、储备池输入单元尺度IS、储备池稀疏程度SD
(1)储备池内部连接权谱半径SR。其为连接权矩阵W的绝对值最大的特征值,记为λmax,λmax<1是保证网络稳定的必要条件;
(2)储备池规模N。其为储备池中神经元的个数,储备池的规模选择与样本个数有关,对网络性能影响很大,储备池规模越大,ESN对给定动态系统的描述越准确,但是会带来过拟合问题。
(3)储备池输入单元尺度IS。其为储备池的输入信号连接到储备池内部神经元之前需要相乘的一个尺度因子,即对输入信号进行一定的缩放。一般需要处理的对象
(4)储备池稀疏程度SD。其表示储备池中神经元之间的连接情况,储备池中并不是所有神经元之间都存在连接。SD表示储备池内部连接权值矩阵W中非零元素所占的比例,它可以用来衡量储备池内部的丰富程度,一般来说网络内部动态越丰富,非线性逼近能力就越强。非线性越强,IS越大