忍不住上号来赞!
开始很鄙夷,什么玩意还让我重启,最后试了下,真香!
解决PyTorch报错 RuntimeError: CUDNN_STATUS_INTERNAL_ERRORRuntimeError: CUDNN_STATUS_INTERNAL_ERROR解决方法 RTX显卡 安装CUDA10 Ubuntu 然后重启
忍不住上号来赞!
开始很鄙夷,什么玩意还让我重启,最后试了下,真香!
解决PyTorch报错 RuntimeError: CUDNN_STATUS_INTERNAL_ERRORRuntimeError: CUDNN_STATUS_INTERNAL_ERROR解决方法 RTX显卡 安装CUDA10 Ubuntu 然后重启
作者: Christopher Olah (OpenAI)译者:朱小虎 Xiaohu (Neil) Zhu(CSAGI / University AI)原文链接:https:...
今年5月份的时候,Cornell University的几个人研究了ResNet,发现它所谓的“超深网络”只是个噱头,文章如下: Residual Networks are ...
看这篇的开始对比Residual net的时候,我笑出了声。
The authors argue that residual connections are inherently necessary for training very deep convolutional models. Our findings do not seem to support this view, at least for image recognition. However it might require more measurement points with deeper architectures to understand the true extent of beneficial aspects offered by residual connections.
In the experimental section we demonstrate that it is not very difficult to train competitive very deep networks without utilizing residual connections.
相爱相杀啊!哈哈!
GoogLeNet的心路历程(五)今年年初的时候,Szegedy写了GoogLeNet的第三篇续作,如下: [v4] Inception-v4, Inception-ResNet and the Impact...
关于principle 2,我有独特的理解方式:夕阳度西岭...
啊不,是这样的。
比如一个卷积层,它里面只有三个卷积核,也就是维度是3,让他们去描述这个局部特征,啊累死啦!臣妾做不到啊!
但是如果卷积层里有128个卷积核(维度是128),第一个描述特征1,第二个描述特征2...轻松愉快!
所以说维度更高,局部特征描述更好!
GoogLeNet的心路历程(四)本文主要介绍GoogLeNet续作二,inception v3。说实话,Szegedy这哥们真的很厉害,同一个网络他改一改就改出了4篇论文,这是其中第3篇,还有个incept...
原文写的是We found that a move from fully connected layers to average pooling improved the top-1 accuracy by about 0.6%.
比如对比AlexNet,是两个全连接(中间有个dropout),Inception的这个去除FC只是去掉一个全连接,用最后一个pooling代替。
而且看例图如Fig.3 最后在softmax前已经标注好有FC的。
我的理解是 linear就是FC,请看parameters个数,上接1*1*1024 的 1*1 *1000 的参数个数是1000K(1000*1024),不是FC是啥捏?
torch里的 nn.linear 我认为就是FC。
GoogLeNet的心路历程(二)本文介绍关于GoogLeNet第一篇正式论文,习惯称为inception v1,如下: [v1] Going Deeper with Convolutions,top5 er...
1*1可以进行降维,降维后3*3 , 5*5的kernel数(维度)就已经减少了。
所以不是为了加1*1而加1*1,1*1在这里最大的作用是降维,然后才是提高网络深度。
GoogLeNet的心路历程(二)本文介绍关于GoogLeNet第一篇正式论文,习惯称为inception v1,如下: [v1] Going Deeper with Convolutions,top5 er...