整体结构image.png最后的输出层中使用了之前的“Affine -Softmax”组合。这些都是一般的CNN中比较常见的结构。 全连接层存在的问题数据的形状被“忽视”了。...
发简信
IP属地：北京
-
深度学习入门基于Python的理论与实现（第6章 卷积神经网络） -
深度学习入门基于Python的理论与实现（第6章 与学习相关的技巧）优化方法 SGD 缺点：梯度的方向并没有指向最小值的方向 Momentumimage.png对应物理上的速度，能使物体逐渐减速 AdaGradimage.pngh保存了以前的...
-
深度学习入门基于Python的理论与实现（第5章 误差反向传播法）链式法则如果某个函数由复合函数表示，则该复合函数的导数可以用构成复合函数的各个函数的导数的乘积表示。 sigmoid反向传播image.png softmax-with-lo...
-
深度学习入门基于Python的理论与实现（第4章 神经网络的学习）损失函数均方误差（mean squared error）当batch size大于1时，需要计算平均值是网络输出，是标签，表示数据的维数 交叉熵误差（cross entrop...
-
Zero-shot learningzero-shot learning 研究问题 建立一个合适的分类模型，特征空间和语义空间的映射 数据集 Animal with Attributes（AwA）官网：Anim...
-
增量学习最近文章列表
增量学习解决的问题：catastrophic forgetting（灾难性遗忘） 参数控制 这类方法当面对新数据希望旧模型上的重要权重（参数）改变比较小。他们的不同之处就是如...
-
End-to-End Incremental LearningAbstract We address this issue with our approachto learn deep neural networks increment...
-
深度学习入门基于Python的理论与实现（第3章 神经网络）图 3-1中的网络一共由 3层神经元构成，但实质上只有 2层神经元有权重，因此将其称为“2层网络”。 “朴素感知机”是指单层网络，指的是激活函数使用了阶跃函数的模型。“多层感...
-
深度学习入门基于Python的理论与实现（第2章 感知机）
感知机（perceptron）Frank Rosenblatt 1957年提出，感知机接收多个输入信号，输出一个信号，输入信号是只有1和0，输入信号被送往神经元时，会被分别乘...
-
深度学习入门基于Python的理论与实现（第1章 python入门）
numpy：数值计算库 scipy：统计分析库 python版本：python 2.x与python 3.x之间没有向后兼容性，python 3.x编写的代码不能被pytho...
-
卷积神经网络模型参数量和运算量计算方法
本文是对卷积神经网络模型参数量和浮点运算量的计算推导公式和方法，使用API自动计算这些数据请移步另一篇博客：自动计算模型参数量、FLOPs、乘加数以及所需内存等数据 1.对C...
-
深度学习——概率与信息论概率与信息论 Expectation and Variance expectation 期望：E[.]表示对方括号内的所有随机变量的值求平均。variance 方差：对x依据...
-
深度学习——线性代数
线性代数 转置 转置（transpose）是矩阵的重要操作之一。矩阵的转置是以对角线为轴的镜像，这条从左上角到右下角的对角线被称为主对角线（main diagonal）。 矩...
-
AUTOGRAD MECHANICS（自动求导机制）
Excluding subgraphs from backward（反向排除子图） 每个张量都有一个标志：requires_grad，允许从梯度计算中细致地排除子图，并可以提...
-
BROADCASTING SEMANTICS（广播语义）
一般语义 如果遵守以下规则，则两个张量是“可广播的”： 每个张量至少有一个维度； 遍历张量维度大小时，从末尾部开始遍历，两个张量的维度大小必须相等，或它们其中一个为1，或者一...
-
PyTorch 预训练模型，保存，读取和更新模型参数以及多 GPU 训练模型
pytorch 如何加载部分预训练模型 保存模型参数PyTorch 中保存模型的方式有许多种： 读取模型参数 同样的，PyTorch 中读取模型参数的方式也有许多种： 冻结部...
-
pytorch创建data.DataLoader时，参数pin_memory的理解
原文链接：https://blog.csdn.net/tsq292978891/article/details/80454568 锁页内存理解（pinned memory o...
-
TENSOR ATTRIBUTESEach torch.Tensor has a torch.dtype, torch.device, and torch.layout. torch.dtype CLASS ...