持续更新中
一个算法可以从很多角度去阐述，如统计学思维（最大似然、贝叶斯）、数值计算思维（最优化、正则化）、信息论思维（熵）等
1、数值计算与正则化思维
在数值计算中，监督学习的目的是从数据X、y中拟合模型f。在这个框架中，最重要的是损失函数，它度量了拟合值和实际值之间的差异，模型的目标则是最小化差异
一般来说监督学习可以看成是最优化问题：
2、统计学与贝叶斯思维
3、信息论与最大熵思维
4、正则化与贝叶斯
- Least Square 的解析解可以用 Gaussian 分布以及最大似然估计求得
- Ridge 回归可以用 Gaussian 分布和最大后验估计解释
- LASSO 回归可以用 Laplace 分布和最大后验估计解释
参考
[1]. Zxdon:从贝叶斯角度深入理解正则化
