整体结构image.png最后的输出层中使用了之前的“Affine -Softmax”组合。这些都是一般的CNN中比较常见的结构。 全连接层存在...
优化方法 SGD 缺点:梯度的方向并没有指向最小值的方向 Momentumimage.png对应物理上的速度,能使物体逐渐减速 AdaGradi...
链式法则如果某个函数由复合函数表示,则该复合函数的导数可以用构成复合函数的各个函数的导数的乘积表示。 sigmoid反向传播image.png ...
损失函数均方误差(mean squared error)当batch size大于1时,需要计算平均值是网络输出,是标签,表示数据的维数 交叉熵...
zero-shot learning 研究问题 建立一个合适的分类模型,特征空间和语义空间的映射 数据集 Animal with Attribu...
增量学习解决的问题:catastrophic forgetting(灾难性遗忘) 参数控制 这类方法当面对新数据希望旧模型上的重要权重(参数)改...
Abstract We address this issue with our approachto learn deep neural net...
图 3-1中的网络一共由 3层神经元构成,但实质上只有 2层神经元有权重,因此将其称为“2层网络”。 “朴素感知机”是指单层网络,指的是激活函数...
感知机(perceptron)Frank Rosenblatt 1957年提出,感知机接收多个输入信号,输出一个信号,输入信号是只有1和0,输入...