龟龟是最可爱的小猫咪
关于正则化
对于一个线性分类来说，训练目的是找出一个权重矩阵使得loss fuction接近于0，假设有这样一个权重矩阵W满足条件，那么倍增W可能仍然满足条件。
这当然不是我们想要看到的，那么为了规避这种情况，可以给loss fuction加上正则惩罚项，如L2规范化（正则化）
L2 正则化
L2翻数的定义：
zhihu
或者可以写成
gif (2).gif
以SVM的henge loss为例，加上L2正则项之后的损失函数为：
gif.gif
损失函数由两部分组成，一部分是由数据决定的data loss, 另一部分是与数据无关的仅仅由权重本身所决定的正则损失项Regularization loss，乘以一个L2正则系数λ，通常由cross-valiadation决定
展开就是：
gif (1).gif
L2惩罚在同等情况下更倾向于选择出更小更均匀（漫反射状）的权重，避免个别维度的权重过大，一定程度上可以改善过拟合。
