泛化和过拟合
构建泛化能力强的模型
- 正确的数据
- 合适的模型（图像：CNN）
- 合适的优化算法（梯度下降、adam）
- 避免模型过拟合
过拟合：训练集上拟合好，但在测试集上表现差
通常，一个模型存在过拟合现象的时候，它的参数趋向于变大。
L1和L2正则
由于使用L1正则之后，很多参数变成了0，这自然就起到了特征选择的目的。让模型的参数变稀疏。
L1正则所存在的潜在的问题:
1、计算上的挑战 无法很好地融合到梯度下降法，对于||w||, w=0时，0点没有梯度。
2、特征选择上的挑战。 对于相似特征上，是随机筛选。解决方法可以是结合L1+L2 。在成千上万个特征选某几个时会用L1.
关于L2参数λ：绝对值变大的时候，L2范数的值也会相应地变大，这就跟最小化目标函数是矛盾的。所以加入L2范数之后，优化过程倾向于选择绝对值小的参数
image.png
MAP 和 MLP
最大似然估计（MLE, Maximum Likelihood Estimation）和最大后验估计 MAP之间也有着特殊的关系:当数据量无穷多的时候，最大后验估计的结果会逼近于最大似然估计的结果。这就说明，当数据越来越多的时候，先验的作用会逐步减弱。
MLE 寻找θ使得 P(D|θ) 最大
MAP 寻找θ使得 P(θ|D) 最大
image.png
θ_MAP = argmax P(D|θ)·P(θ) 似然概率·先验概率
image.png
当样本量很小的时候，应加入先验概率，否则容易被样本迷惑，参考癌症看病的例子 4-4 PART1。同时也相当于一个正则项，不同先验概率分布相当于不同正则项，比如高斯分布=L2正则。
参数服从高斯分布=L2正则
参数服从拉普拉斯分布=L1正则
当样本量无穷大时，MAP趋向于MLP。因为MLE部分权重随N变大而变大，prior权重相应变小
image.png
