概率论与数理统计
本文参考了目前网上诸多的机器学习数学复习讲义，取其精华，逐步深入，在帮助大家进行复习的同时，尽可能降低学习曲线。
0.贝叶斯学派与频率学派
有兴趣的同学可以查相关资料，这里只作为一个兴趣点引入
1.事件的关系与运算
图片1.png
2.频率与概率
图片1.png
3.古典概型
图片1.png
图片1.png
图片1.png
4.信息熵
图片1.png
图片1.png
图片1.png
图片1.png
上图中，结合我们上一节高数中推导出来的公式，可对组合数公式取对数乘1/n,然后计算得出信息熵公式
5.本福特定律
本福特定律，又称第一数字定律，是指在实际生活得出的一组数据中，以1为首位数字出现的概率约为总数的三成；是直观想象1/9的三倍。通常用于检测数据是否造假
图片1.png
6.概率的基本公式
图片1.png
7.贝叶斯公式
图片1.png
8.常见分布
0-1分布
图片1.png
二项分布
图片1.png
泊松分布
图片1.png
均匀分布
图片1.png
指数分布
图片1.png
图片1.png
正态分布(高斯分布)
图片1.png
图片1.png
图片1.png
学有余力可以查阅二元高斯分布相关资料
总结
图片1.png
Beta分布
图片1.png
可以查阅指数族相关资料，推导过程会出现Sigmoid/Logistic函数
9.事件的独立性
图片1.png
10.随机变量及其概率分布
图片1.png
11.二维随机变量
图片1.png
12.期望
图片1.png
性质
图片1.png
13.随机变量函数的数学期望
图片1.png
14.方差
图片1.png
15.协方差
图片1.png
协方差和独立、不相关
图片1.png
协方差的意义
图片1.png
16.Pearson相关系数
图片1.png
17.协方差矩阵
图片1.png
18.切比雪夫不等式
图片1.png
19.大数定律
图片1.png
意义
图片1.png
伯努利定理
图片1.png
20.中心极限定理
图片1.png
21.最大似然估计
贝叶斯公式的思考
图片1.png
定义
图片1.png
图片1.png
二项分布的最大似然估计
图片1.png
正态分布的最大似然估计
图片1.png
图片1.png
图片1.png
22.最大似然估计与过拟合
图片1.png
