一、大规模机器学习

二、算法优化

ps：诊断

1、随机梯度下降

1.1原理
1.2优缺点
1.3学习率与收敛性
1.4在线学习

2、Mini-Batch梯度下降

2.1原理
2.2优缺点

三、Map Reduce 和 数据并行化

— — — — — — — — — — — — — — — — — — — — — — — — —

一、大规模机器学习

大规模机器学习(Large Scale Machine Learning)就是指当数据量极大时的机器学习任务。当数据量非常大时，传统的优化方法如梯度下降法等会非常的耗时，对内存等计算资源要求极大，且易于过拟合。

这一章中将讲述能够处理海量数据的算法。

二、算法优化

ps：诊断
为什么要使用海量数据集呢？要知道获取高性能的机器学习系统途径是采用低偏差的学习算法，并用大数据进行训练。
在第十章中讨论过，并非所有机器学习任务都需要非常大的数据集进行训练，有时候适当的样本加上合理的模型即可得到较好的效果。所以在遇到大规模机器学习任务时，首要的任务就是通过绘制学习曲线来判断大量样本是否对模型优化有益。

1、随机梯度下降

1.1原理

随机梯度下降法(Stochastic Gradience Descent)的核心思想就是每次迭代时只用一个样本来更新梯度，这样不停的遍历整个训练集，直到模型收敛为止。

代价函数

1.2优缺点

优点：更新速度快

缺点：·准确度下降，因为单个样本的所拥有的噪声较大；
·更容易达到局部最优；
·不利于并行化

1.3学习率与收敛性

确保算法的正确收敛以及调整随机梯度下降中的学习速率α的值。

之前传统的梯度下降法，确保梯度下降已经收敛的一个标准方法就是绘制代价函数；而对于随机梯度下降，为了检查算法是否已经收敛，可以进行以下的步骤：

1、当随机梯度下降法进行学习时，在使用某个样本更新参数之前，可以计算出这个训练样本对应的假设表现有多好（即计算出代价函数）；
2、每1000次迭代，就画出前一步中所计算出的代价函数，把这前1000个样本的代价函数的平均值画出来，通过观察所画的图，就能检查出随机梯度下降法是否在收敛。

eg：上面两幅图的区别是画图的采样点的频率不同，左上方的图是画每迭代1000次的成本函数，右上方的图每迭代5000次的平均成本函数图像。由于分母变大，分子相对变化较小，因此迭代次数高的函数图像更平稳。

下面两幅图也是可能出现的情况。左下方的图蓝色的线是由于学习速率过大，不稳定，应该调小学习速率。而右下方的图则是曲线上扬，说明学习速率太大，算法发散了，也需要调小学习速率。

同时，还能设计学习率不断变换的模型，即令学习率α随着迭代的不断进行而减小，同样的还要动量法等更高级的优化算法。

1.4在线学习

在很多机器学习运行的系统中，很多学习数据是不断在产生的，如何可以让系统随着数据的涌入保持学习，而不是只能获得一次性用固定数据训练的模型，以获得更优的性能，就是在线学习所要解决的问题。例如在线交易和推荐系统等，随着用户不断的使用，会有新的交易记录和评分数据，系统可根据新数据进行更新。

这个算法与SGD非常类似，唯一的区别就是不会使用一个固定的数据集，每当有新数据来临时，立马用新数据对模型进行一次更新，随后立即将用过的数据抛弃。

2、Mini-Batch梯度下降

2.1原理

小批量梯度下降法(mini-batch Gradient Descent)它介于传统梯度下降和SGD两者之间，每次迭代会使用b个样本（b是称为Mini-Batch大小的参数，通常b的范围2-100）进行数据更新，不停的遍历整个训练集，直到模型收敛为止。

代价函数为：

2.2优缺点

其运行过程与SGD类似，与SGD相比，每次使用一个batch可以大大的减小收敛所需要的迭代次数，且易于并行化。
Mini-Batch梯度下降算法的缺点之一是要计算参数b的大小时，可能需要花费些时间，当batch_size在合理范围内增大时，能增大内存利用率；减小迭代次数；使下降的方向更准确，减小震荡的可能。

三、Map Reduce 和 数据并行化

根据MapReduce的思想，把训练集分割成不同的子集，假设m=400（这里为了方便介绍，实际处理大规模数据m应该是4亿的数量集），有4台机器可以处理数据，每台机器用四分之一的训练集。
这样每个机器做的是四分之一的工作，使得它们能将原来的运行速度提高四倍，它们完成各自的temp计算后，然后把temp发给一个中心服务器去整合结果，最后更新参数：

原理

多机器

多内核