2.1 PyTorch介绍

• Pytorch是一个深度学习框架(类似于TensorFlow)，由Facebook的人工智能研究小组开发。与Keras一样，它也抽象出了深层网络编程的许多混乱部分。
• 就高级和低级代码风格而言，Pytorch介于Keras和TensorFlow之间。比起Keras具有更大的灵活性和控制能力，但同时又不必进行任何复杂的声明式编程(declarative programming)。
  • 考虑方面
  • 定义模型的类与函数
  • 继承来自Torch库的torch.nn.Module的类
  • 张量和计算图模型与标准数组的比较
  • 只需要知道每个层的输入和输出大小
  • 训练模型

2.2 环境配置

2.2.1 Anaconda

• Anaconda是Python的一个开源发行版本，主要面向科学计算。
  • Anaconda预装了很多我们用的到或用不到的第三方库的Python
  • 而且相比于大家熟悉的pip install命令，Anaconda中增加了conda install命令。
• 操作
  • 根据操作系统下载并安装Anaconda
  • Anaconda安装成功之后，建议修改其包管理镜像为国内源
  • 比如，https://pypi.tuna.tsinghua.edu.cn/simple

2.2.2 Jupyter

• 打开notebook
  • 在浏览器打开 http://localhost:8888 （通常会自动打开）位于当前目录的jupyter 服务

• 使用notebook，可以直接在代码旁写出叙述性文档，而不是另外编写单独的文档。

  
  

2.2.3 PyTorch

• 课程需要用到PyTorch框架
  • pip install torch==1.5.0
• 直接去PyTorch官网找到自己的软硬件对应的安装命令即可。
  • https://pytorch.org/

2.3 数据操作

• 在深度学习中，通常会频繁地对数据进行操作。
• 在PyTorch中，torch.Tensor是存储和变换数据的主要工具。
  • 如果之前用过NumPy，会发现Tensor和NumPy的多维数组非常类似。
  • 然而，Tensor提供GPU计算和自动求梯度等更多功能，这些使Tensor更加适合深度学习。
• "tensor"这个单词一般可译作“张量”，张量可以看作是一个多维数组。
• 标量可以看作是0维张量，向量可以看作1维张量，矩阵可以看作是二维张量。

• 下列这些创建方法都可以在创建的时候指定数据类型dtype和存放device(cpu/gpu)

  
  
• 索引
  • 还可以使用类似NumPy的索引操作来访问Tensor的一部分。
  • 需要注意的是：索引出来的结果与原数据共享内存，也即修改一个，另一个会跟着修改。
• 改变形状
  • 用view()来改变Tensor的形状：
    • 注意view()返回的新Tensor与源Tensor虽然可能有不同的size，但是是共享data的，也即更改其中的一个，另外一个也会跟着改变。
      • view仅仅是改变了对这个张量的观察角度，内部数据并未改变
  • 所以如果想返回一个真正新的副本（即不共享data内存）该怎么办呢？
    • Pytorch还提供了一个reshape()可以改变形状，但是此函数并不能保证返回的是其拷贝，所以不推荐使用。
    • 推荐先用clone创造一个副本然后再使用view。
      • 使用clone还有一个好处是会被记录在计算图中，即梯度回传到副本时也会传到源Tensor。
    • 另外一个常用的函数就是item(), 它可以将一个标量Tensor转换成一个Python number
• 线性代数

  • PyTorch还支持一些线性函数

    
    
    • PyTorch中的Tensor支持超过一百种操作，包括转置、索引、切片、数学运算、线性代数、随机数等等。
• 广播机制
  • 前面看到如何对两个形状相同的Tensor做按元素运算。
  • 当对两个形状不同的Tensor按元素运算时，可能会触发广播（broadcasting）机制：先适当复制元素使这两个Tensor形状相同后再按元素运算。
• 运算的内存开销
  • 索引操作是不会开辟新内存的，而像y = x + y这样的运算是会新开内存的，然后将y指向新内存。
    • 如果想指定结果到原来的y的内存，可以使用前面介绍的索引来进行替换操作。
  • 还可以使用运算符全名函数中的out参数或者自加运算符+=(也即add_())达到上述效果。
    • 注：虽然view返回的Tensor与源Tensor是共享data的，但是依然是一个新的Tensor（因为Tensor除了包含data外还有一些其他属性），二者id（内存地址）并不一致。
• Tensor和NumPy相互转换
  • 用numpy()和from_numpy()将Tensor和NumPy中的数组相互转换。
    • 但是需要注意的一点是： 这两个函数所产生的的Tensor和NumPy中的数组共享相同的内存
  • 所有在CPU上的Tensor（除了CharTensor）都支持与NumPy数组相互转换。
  • 还有一个常用的将NumPy中的array转换成Tensor的方法就是torch.tensor()。
    • 需要注意的是，此方法总是会进行数据拷贝（就会消耗更多的时间和空间），所以返回的Tensor和原来的数据不再共享内存。
• Tensor on GPU
  • 用方法to()可以将Tensor在CPU和GPU（需要硬件支持）之间相互移动。

2.4 梯度下降

• 梯度下降是机器学习中常见优化算法之一，梯度下降法有以下几个作用：
  • 在求解机器学习算法的模型参数，即无约束优化问题时，主要有梯度下降法（Gradient Descent）和最小二乘法。
  • 在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。
  • 如果我们需要求解损失函数的最大值，可通过梯度上升法来迭代。

  • 梯度下降法主要有随机梯度下降法和批量梯度下降法。

    
    

2.4.1 梯度下降核心思想

• 初始化参数，随机选取取值范围内的任意数；
• 迭代操作：

  • 计算当前梯度；

    
    

  • 修改新的变量；

    
    
  • 计算朝最陡的下坡方向走一步；
  • 判断是否需要终止，如否，返回a
• 得到全局最优解或者接近全局最优解

2.4.2 随机梯度和批量梯度

• 小批量梯度下降

  
  

2.4.3 自动求梯度概念

• Tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的所有操作。
  • 完成计算后，可以调用.backward()来完成所有梯度计算。
  • 此Tensor的梯度将累积到.grad属性中。
    • 注意在y.backward()时，如果y是标量，则不需要为backward()传入任何参数；否则，需要传入一个与y同形的Tensor。
• 如果不想要被继续追踪，可以调用.detach()将其从追踪记录中分离出来，这样就可以防止将来的计算被追踪，这样梯度就传不过去了。
  • 还可以用with torch.no_grad()将不想被追踪的操作代码块包裹起来
• Function是另外一个很重要的类。
  • Tensor和Function互相结合就可以构建一个记录有整个计算过程的有向无环图（DAG）。
  • 每个Tensor都有一个.grad_fn属性，该属性即创建该Tensor的Function, 就是说该Tensor是不是通过某些运算得到的，若是，则grad_fn返回一个与这些运算相关的对象，否则是None。

2.4.4 梯度

• 数学上，如果有一个函数值和自变量都为向量的函数 那么 关于 的梯度就是一个雅可比矩阵（Jacobian matrix）:

  
  
• 而torch.autograd这个包就是用来计算一些雅克比矩阵的乘积的。

  • 例如，如果 v 是一个标量函数的梯度：