前言：
PyTorch的torch.nn中包含了各种神经网络层、激活函数、损失函数等等的类。我们通过torch.nn来创建对象，搭建网络。
PyTorch中还有torch.nn.functional，让我们可以通过调用函数的方式，来直接搭建网络，而不用像torch.nn一样要先创建对象。
我们可以按照自己的习惯，结合上面两种方法，来搭建网络。
一般情况下，对于像Conv层这种需要定义多个参数的时候，我们采用torch.nn的方式比较方便，而对于参数比较少的，或者不用设置参数的，尤其是一些函数，我们就可以采用torch.nn.functional来定义。一般我们import torch.nn.functional as F，这样后面写起来方便一些。
torch.nn.Module是所有神经网络模型的基本类（basic class），所有的模型都应该是它的子类。
定义模型的方法如下（只是一种形式）：
# 神经网络模型包：
import torch.nn as nn
# 神经网络中的各种函数包：
import torch.nn.functional as F
# 继承nn.Module
class Model(nn.Module):
def __init__(self):
# 调用nn.Module的初始化方法
super(Model, self).__init__()
# 添加该模型的自定义初始化（主要是定义神经网络层）
self.conv1 = nn.Conv2d(1, 20, 5)
self.conv2 = nn.Conv2d(20, 20, 5)
# 定义模式的输出是怎么计算的
#（主要写各层之间通过什么激活函数、池化等等来连接）
def forward(self, x):
x = F.relu(self.conv1(x))
return F.relu(self.conv2(x))
通过上面的方式定义了模型类之后，我们就可以使用nn.Module内置的.parameters()方法来获取模型的参数。我们后面要更新的就是这些参数。
一、常用的神经网络层
这里，我们介绍以下几种layers：
- 卷积层-Conv2d
- 全连接层
- 池化层
- Dropout
- BatchNorm
1.卷积层（2D）
CLASS
torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)
- 注意是个类，要创建对象后再使用。
- 参数中的
kernel_size,stride,padding,dilation的值，可以为int，也可以为tuple。是int的时候，就代表长宽相等。- Input size为(N,C_in,H,W)；
Output size为(N,C_out,H_out,W_out).
其中，N为batch size，即样本数，C为channel数，H为height，W为width。举例：
2.全连接层/线性层
采用CLASS方式
torch.nn.Linear(in_features, out_features, bias=True)
Input size = (N,∗,in_features)
Output size = (N,∗,out_features)
举例：
3.Pooling（2D）层
采用CLASS方式
torch.nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)
torch.nn.AvgPool2d(kernel_size, stride=None, padding=0, ceil_mode=False, count_include_pad=True)
举例：
采用Function方式：（似乎更简洁）
F.avg_pool2d(input, kernel_size, stride=None, padding=0, ceil_mode=False, count_include_pad=True) → Tensor
4.Dropout 层
CLASS
torch.nn.Dropout(p=0.5, inplace=False)
torch.nn.Dropout2d(p=0.5, inplace=False)
- 前者通常接受来自nn.Linear的数据
- 后者通常接受来自nn.Conv2d的数据
举例：
5.BatchNorm（2D）
CLASS
torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)BN层的主要作用是，通过对数据进行标准化，来加速神经网络的训练。
唯一必须设置的参数num_features要等于输入数据(N,C,H,W)中的C，就是Channel数。
二、常用的激活函数
采用CLASS方式:
torch.nn.ReLU(inplace=False)
torch.nn.Sigmoid
torch.nn.Tanh
torch.nn.Softmax(dim=None)这些很简单，就不解释了。举例：
采用Function方式（更简洁）:
三、损失函数
MSE
torch.nn.MSELoss(size_average=None, reduce=None, reduction='mean')
Cross-Entropy
torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean')用法也很简单，把预测值（input）和标签值（target）扔进去就行：
这里对Cross-entropy的使用有一点需要注意的地方：
从文档可以看到，这个Target（即label）的值有限制，值的大小需要再[0,C-1]之间。
比如，我们有5个类别，C=5，那么你给的标签值必须在[0,4]之间，不能取其他的数字。
上面的内容列举了最常见的一些layers和functions。我在举例子的时候，主要是采用torch.nn定义Class的方式，无论是layer还是函数，都是先创建对象，在用对象去进行操作。上面写的每一个，其实在torch.nn.functional中都有对应，使用起来相当于省掉了创建对象那一步，所以就不赘述了。
下一篇笔记记录如何使用上面的这些组件，去搭建神经网络，做一个图片分类模型。
欢迎关注我的简书专题：
DeepLearning笔记
不妨来我的知乎专栏逛逛吧：
DeepLearning学习笔记
更精美的文章，欢迎关注我的微信公众平台 SimpleAI：
