C. 执行优化

        为了保证Tensorflow运行模型的最优化，一系列优化算法被内置其中。本章节将重点介绍三种优化方法：常用子图消减法，执行时序安排法和损失压缩法。

        1）Common Subgraph Elimination（常用子图消减法）：常用子表证消减法是众多现代编译器采用的优化算法，凭借合并同类计算项的办法，编译器可以将相同计算的多次实例合并成一个实例。结果会保存在一个临时变量，这样可以重复使用该结果。在Tensorflow图的运算中，也会出现相似的情形，一个算子对于相同输入会被重复调用多次。如果就这样直接运算，那么效率是非常低下的，同时大量的内存占用也是不合理的。因此，Tensorflow也应用这种同类消减法，或者更恰当的描述是基于前次执行的子图消减法。对于这种算法，遍历计算图，凡是遇到两个或者更多对于同样输入张量的同种类型的算子可以通过规范化合并成一个子图。此算子的输出张量然后会被转移到所有相应依赖的节点去。下图给出了消减的一个示例。

        2）Scheduling（时序安排法）：一个简单而强大的优化是尽可能晚地调度节点执行。 确保操作结果仅在最小所需时间段内保持在存储器中，由此减少了存储器峰值消耗，并且因此可以大大提高系统的整体性能。文献 [8]的作者指出，这对于诸如GPU之类的设备尤为重要，因为它们的存储器资源很少。 此外，仔细安排的调度还涉及激活send和recv节点，这里面不仅存储器而且网络资源都被作为竞争资源。

        3）Lossy Compression（损失压缩法）：诸如分类，回归或者其它机器学习算法的主要目的是建立稳健的模型。我们这里说“稳健”的意思是指理想的优化过的模型算法不会因为偶然噪声信号改变响应输出。因此，算法对于计算数值的精度要求就会下降，比如使用16比特运算就可以达到32比特计算的效果，但是很明显这样不仅仅是节约了小数点后位数，也极大降低了计算开销。基于这个原则，在Tensorflow里面，把节点转化为计算图的内部加法采用了类似的方法。当数据通讯跨设备或者机器的时候，在发送端将32位浮点数字转化为截断的16位表示，在接收端被截断的数字被简单的通过补零法恢复成32位，而不是使用取整运算【8】。

D. 和基础编程模型相关部分

        讨论了Tensorflow的基础计算范式和执行模型之后，我们将继续讨论另外三种和创建机器学习算法高度相关的高级主题。第一，我们讨论Tensorflow如何处理被许多机器学习算法广泛使用的梯度反馈（gradient back-propagation）的。然后，我们研究Tensorflow是如何控制数据流的。最后，我们简单谈一下检查点技术（checkpoint），因为在使用大型模型的时候非常有用的一种技巧和技术。

        1）Back-Propagation Nodes（反向传播节点）：在相当多的深度学习和其它机器学习算法里面，计算计算图中特定节点相对其他一个或者多个节点的梯度是非常有必要的。比如，在神经网络中，我们可能通过将给定样本进行一系列非线性转换来计算模型的成本函数c。如果神经网络包含两个隐藏层，其表证函数f(x;w) =fx(w)和g(x;w) =gx(w)，w是内部权重。我们可以把其对应该样本的成本函数表示成c = (fx◦gx)(w) =fx(gx(w))。通常我们会做微分dc／dw来求相应的权重w，然后用得到的权重去更新原有权重。这种计算在反向传播算法是通过反向遍历图去计算[fx(gx(w))]′=fx′(gx(w))·gx′(w)完成的。

          在文献【18】中，描述了两种计算反向传播梯度的算法。第一种称为symbol-to-number differentiation（图数差异法）。它是接受一组输入值，然后计算这组输入的梯度数值。它通过明确的前向遍历图计算成本函数，然后再反向遍历计算剃度。第二种称为symbol-to-symbol derivatives（符号到符号导数法），这是和Tensorflow更相关的算法，在文献【8】中被称为automatic gradient computation（自动梯度计算法）。在这种情况下，梯度不是通过反向传播算法的显式实现来计算的。 相反，它将特殊节点添加到计算图中，然后根据计算链规则计算该计算图每个算子的梯度。 为了进行反向传播运算，然后必须通过图评估引擎简单地像任何其它节点那样执行这些节点。 因此，此方法不会求导，而仅计算这些值的符号句柄。

        当Tensorflow需要计算一个特定节点v相对其它节点α的梯度时，它会从v到α反向遍历图。在遍历中遇到 的每一个算子o表示依赖α的函数和产生输出张量连接集合(ν◦...◦o◦...)(α)的一个连接。因此，Tensorflow为每一个选取前一个连接梯度，并且乘以它自己梯度的算子o添加梯度节点。在遍历的最后，有一个节点带有符号句柄表示目标倒数dv／dα，即隐含实现了反向传播算法。现在可以很清楚的看到，在符号到符号方法仅仅是另一种没有任何例外的算子。下图展示了一张计算图在梯度节点增加前后的样子。

        在文献【8】中提到符号到符号导数法可能产生相当可观的计算开销，包括内存的开销。究其原因，需要理解两组链式规则的等价公式。第一组公式会重用之前计算结果需要为了前向传播的需要，保存相应的结果。对于等式1中的任意函数f，g，h：df／dw=f′(y)·g′(x)·h′(w)withy=g(x),x=h(w)    (1)

        对于计算链式规则的第二种可能公式已经表明，每个函数需要重新计算它们所有的参数并且调用它们依赖的每一个函数。该公式表示成：df／dw=f′(g(h(w)))·g′(h(w))·h′(w)    (2)

        根据文献【8】，Tensorflow当前使用第一组公式。假定如果不采用这种方法，并且考虑到这个连接可能包括数百或数千个操作，则对于此连接的几乎每个连接必须重新计算最内层函数，因此这种选择看起来是合理的。 然而，从另一方面来看，在存储器中长时间保存张量也不是最佳的，尤其是在诸如GPU的设备上，其存储器资源是稀缺的。 对于等式2，由张量保持的存储器在理论上可以在其已被其图依赖性处理时被释放。 因此，根据文献[8]的说法，TensorFlow的开发团队称，重新计算某些张量而不是将它们保留在内存中的做法可能是未来进行性能改进的方向。

         2）控制流：某些机器学习算法会从执行流控制中受益，即只在特定条件下执行特定流，或者仅仅执行固定次数。对此，Tensorflow提供了一组流控制的基本体，包括if条件跳转和loop循环。循环条件控制的存在是因为Tensorflow计算图可能是循环的。如果对于循环的次数是已知或者固定的，那么循环体可以被展开成非循环的计算序列【5】。但是为了支持可变迭代，Tensorflow需要强制跳转到如文献【8】描述的一组环运算。

        当引入控制流需要特别注意的是在有反向传播的场景。 在处理条件控制的情况下，如果if操作返回一个或另一个张量，则必须知道在向前传播期间节点采取哪个分支，使得梯度节点仅被添加到该分支。 此外，当循环体（其可以是小图）被执行特定次数时，梯度计算不仅需要知道执行的迭代的次数，而且还需要访问所产生的每个中间值。 这种通过反向循环计算梯度的技术在文献[5]中称为反向传播时间。

        3）Checkpoints（检查点）：Tensorflow另一个基本编程模型的扩展就是检查点技术的应用。检查点技术允许模型参数可以被序列化到文件，以备再次运行模型的时候可以从文件中恢复模型参数和运行变量。因此可以在计算图中增加Save节点去保存相应变量的张量。当然，一个变量也可能连接到restore算子去恢复相应的张量。这种方法对于那些需要长时间才能训练的模型，对于模型计算容错性考量都是很好的技术，特别是在分布式环境【8】。