1、理解偏差和方差
参考https://www.zhihu.com/question/27068705
链接中讲述的偏差bias和方差variance非常清楚，这里主要描述我的理解。
偏差bias：在机器学习时，我们是通过训练数据集对模型进行训练，此时分析的误差主要是希望得到误差小的模型，如何得到误差小的模型呢，即通过增加模型复杂度，降低偏差bias。
方差variance：利用训练数据集对模型完成训练后，我们得到了偏差bias比较小的模型，现在我们需要对训练好的模型进行测试，即利用测试数据集对模型进行评估，目标是通过模型计算出来的结果和测试数据的结果偏差尽可能小，此时的偏差则是方差variance。降低方差的手段是通过降低模型复杂度。
2、学习误差为什么是偏差和方差而产生的，并且推导数学公式
参考：https://segmentfault.com/a/1190000016447144
https://blog.csdn.net/Crafts_Neo/article/details/90268784
在模型训练过程中，有两个原因导致产生误差，一个是因为数据本身的原因，当训练出一个模型后，对模型进行测试，测试用到的数据不一样会产生误差，另一个原因是训练获得的模型误差。
3、过拟合，欠拟合，分别对应bias和variance什么情况
过拟合：一般说明模型复杂度高了，对应的就是模型的偏差bias小，但是方差大，即用同一个模型测试不同的测试数据时，得到的预测结果很分散，说明模型容易受数据影响。
欠拟合：一般说明模型太简单，对应的就是模型的偏差大，方差小，即用同一个模型测试不同的数据时，得到的结果很集中，但是预测的结果和实际的结果相差较大。
学习鞍点，复习上次任务学习的全局最优和局部最优
参考：https://blog.csdn.net/baidu_27643275/article/details/79250537
鞍点（saddle point)这个词来自z=x2−y2 的图形，在x轴方向向上曲，在y轴方向向下曲，像马鞍，鞍点为（0，0）。
拥有两个以上参数的函数。它的曲面在鞍点好像一个马鞍，在某些方向往上曲，在其他方向往下曲。在一幅等高线图里，一般来说，当两个等高线圈圈相交叉的地点，就是鞍点。
在鞍点附近，基于梯度的优化算法（几乎目前所有的实际使用的优化算法都是基于梯度的）会遇到较为严重的问题：
鞍点处的梯度为零，鞍点通常被相同误差值的平面所包围（这个平面又叫Plateaus，Plateaus是梯度接近于零的平缓区域，会降低神经网络学习速度），在高维的情形，这个鞍点附近的平坦区域范围可能非常大，这使得SGD算法很难脱离区域，即可能会长时间卡在该点附近（因为梯度在所有维度上接近于零）。
-
解决办法有哪些
梯度下降
学习Mini-Batch与SGD
学习Batch与Mini-Batch，SGD梯度下降的区别
参考：https://blog.csdn.net/hdg34jk/article/details/78864070
mini-batch是将训练集分组，分组之后，分别对每组求梯度，然后更新参数。假如分 8组，则每次迭代将会做8次梯度下降，更新8次参数。所以mini-batch比传统的梯度下降法下降的速度快，但是mini-batch的cost曲线没有传统梯度下降法的cost曲线光滑，大致对比如下：
mini-batch实现步骤： 确定mini-batch size，一般有32、64、128等，按自己的数据集而定，确定mini-batch_num=m/mini-batch_num + 1； 在分组之前将原数据集顺序打乱，随机打乱； 分组，将打乱后的数据集分组； 将分好后的mini-batch组放进迭代循环中，每次循环都做mini-batch_num次梯度下降。
Stochastic gradient descent
Stochastic gradient descent可以看做是mini-batch的一种特殊情况，当mini-batch size等于1时，mini-batch就退化为Stochastic gradient descent。此时每次迭代中，对于数据集中每个样本都做一次梯度下降，其梯度下降过程大致如下所示：
从Stochastic gradient descent的梯度下降图可以看出，下降速度虽然比传统梯度下降速度快，但是曲线比较曲折，没有mini-batch的曲线直，因此，多数情况下会使用mini-batch。
Stochastic gradient descent无法利用向量化，并行运算受限，mini-batch和batch gradient decent可以利用向量化，有并行运算优势；
Stochastic gradient descent很难收敛到最优点，mini-batch和batch gradient decent可以收敛到最优点；
Stochastic gradient descent和mini-batch收敛速度快，batch gradient decent收敛速度慢。
如何根据样本大小选择哪个梯度下降(批量梯度下降，Mini-Batch）
写出SGD和Mini-Batch的代码，参考https://blog.csdn.net/hdg34jk/article/details/78864070
SGD源代码：
X = data_input
Y = labels
parameters = initialize_parameters(layers_dims)
for i in range(0, num_iterations):
for j in range(0, m):
# Forward propagation
a, caches = forward_propagation(X[:,j], parameters)
# Compute cost
cost = compute_cost(a, Y[:,j])
# Backward propagation
grads = backward_propagation(a, caches, parameters)
# Update parameters.
parameters = update_parameters(parameters, grads)
mini-batch python 源码：
def random_mini_batches(X, Y, mini_batch_size = 64, seed = 0):
np.random.seed(seed) # To make your "random" minibatches the same as ours
m = X.shape[1] # number of training examples
mini_batches = []
# Step 1: Shuffle (X, Y)
permutation = list(np.random.permutation(m))
shuffled_X = X[:, permutation]
shuffled_Y = Y[:, permutation].reshape((1,m))
# Step 2: Partition (shuffled_X, shuffled_Y). Minus the end case.
num_complete_minibatches = int(math.floor(m/mini_batch_size)) # number of mini batches of size mini_batch_size in your partitionning
for k in range(0, num_complete_minibatches):
### START CODE HERE ### (approx. 2 lines)
mini_batch_X = shuffled_X[:, k * mini_batch_size:(k + 1) * mini_batch_size]
mini_batch_Y = shuffled_Y[:, k * mini_batch_size:(k + 1) * mini_batch_size]
### END CODE HERE ###
mini_batch = (mini_batch_X, mini_batch_Y)
mini_batches.append(mini_batch)
# Handling the end case (last mini-batch < mini_batch_size)
if m % mini_batch_size != 0:
### START CODE HERE ### (approx. 2 lines)
mini_batch_X = shuffled_X[:, (k + 1) * mini_batch_size:m]
mini_batch_Y = shuffled_Y[:, (k + 1) * mini_batch_size:m]
### END CODE HERE ###
mini_batch = (mini_batch_X, mini_batch_Y)
mini_batches.append(mini_batch)
return mini_batches
学习交叉验证
第一种是简单交叉验证，所谓的简单，是和其他交叉验证方法相对而言的。首先，我们随机的将样本数据分为两部分（比如： 70%的训练集，30%的测试集），然后用训练集来训练模型，在测试集上验证模型及参数。接着，我们再把样本打乱，重新选择训练集和测试集，继续训练数据和检验模型。最后我们选择损失函数评估最优的模型和参数。
第二种是S折交叉验证（S-Folder Cross Validation）。和第一种方法不同，S折交叉验证会把样本数据随机的分成S份，每次随机的选择S-1份作为训练集，剩下的1份做测试集。当这一轮完成后，重新随机选择S-1份来训练数据。若干轮（小于S）之后，选择损失函数评估最优的模型和参数。
第三种是留一交叉验证（Leave-one-out Cross Validation），它是第二种情况的特例，此时S等于样本数N，这样对于N个样本，每次选择N-1个样本来训练数据，留一个样本来验证模型预测的好坏。此方法主要用于样本量非常少的情况，比如对于普通适中问题，N小于50时，我一般采用留一交叉验证。
参考：https://www.cnblogs.com/pinard/p/5992719.html
学习归一化
参考：https://blog.csdn.net/qq_28618765/article/details/78221571
数据标准化（Normalization），也称为归一化，归一化就是将你需要处理的数据在通过某种算法经过处理后，限制将其限定在你需要的一定的范围内。
数据标准化处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要对数据进行归一化处理，解决数据指标之间的可比性问题。
学习回归模型评价指标
平均绝对误差（Mean Absolute Error，MAE）：
均方误差（Mean Squared Error，MSE）：
平均绝对百分误差（Mean Absolute Percentage Error，MAPE）：
均方根误差（Root Mean Squared Error）：
均方根对数误差（Root Mean Squared Logarithmic Error，RMSLE）：
