一、基础定义
==损失函数是用于刻画 预期模型 和 实际模型的误差，用于指导模型优化的方向==，是一种将模型误差量化的方式。
loss = f(x) - Y;
在机器学习中，训练的目的，就是寻找loss极小值。
二、回归问题的损失函数
1. 平均绝对误差（L1）
也是线性问题中用到的，衡量的也是和真实值的误差。 ==但是它会忽略异常数据带来的问题==。
image
image
2 均方误差(L2)
在线性问题中最常用的损失函数。 计算方法是预测值和真实值
之间的距离平方和，==如果存在异常数值，会将它放大==， 次放越大，越会放大异常数值。
在线性中选用这种是最好的，获得的loss是放大的，可以很快的调整模型，但是要注意的是，需要处理掉异常数值。
image
image
3.smooth损失函数
在神经网络中，更新梯度始终相同，也就是说，即使很小的损失也会在成模型大幅度调整，这样不利于模型的学习，所以在损失接近最小值时， 可以降低学习率。
首先我们先分析一下，上面两种损失函数各自的优缺点
L1: 不容易被异常数据影响，但是学习速率是固定的。
L2: 容易被异常数据影响，但是学习速率在趋于0是会减速。
综合上述的两个优缺点，smooth L1 就此诞生
image
image
三、分类问题的损失函数
1.交叉熵
M: 类别数量
yc: 期望输出
pc: 真实输出
image
在二分类中, 可以得到如下公式:
y:正的期望输出
p:当前模型输出
image
假设 y 的输出恒等于1 的模型是我们训练的目标，得到损失函数如下
image
image
根据凸显我们可以得到结论，模型输出 y 越接近 1 时，损失函数越小， 符合实际情况。
假设 y 的输出恒等于0 的模型是我们训练的目标，得到损失函数如下
image
image
根据凸显我们可以得到结论，模型输出 y 越接近 0 时，损失函数越小， 符合实际情况。
看一下曲线图，当 输出大的时候，损失L是以指数上升的，说明对当前模型的“惩罚”越大（w调整越大），有利于模型学习。
