基于视频：七月算法-深度学习课程-5月-第一课：机器学习中的数学
https://www.youtube.com/watch?v=T0WrSQixuxU&list=PLwTxjmW4U1YSsLZ5OKd67KxtoSdJKAFgE
一、微积分重点
1、梯度：多元函数的一阶导数，对各元分别求导。一元函数的时候就是一阶导数。
2、海森矩阵：多元函数的二阶导数。
3、二次型：XTAX ，形式对称，用矩阵的形式表示一个多项式。
比如：
二次型的重要特点：
4、泰勒级数
平衡点：即局部的极值点。
鞍点：这一点的一阶、二阶导数都等于0。
一阶导数等于0的点：有可能是：（1）极小值点（二阶导数大于0） （2）极大值点（二阶导数小于0）（3）鞍点（二阶导数等于0）———>其实可以通过画图来理解的。
（1）泰勒级数的展开（标量）：
极值点：一阶导数等于0
（2）泰勒级数的展开（矢量）：
极值点：梯度等于0。
此时，多元函数的二阶导数大于零表示海森矩阵的特征根都大于零。（正定：矩阵的特征值都大于0）
5、梯度下降法
求极值点时，求解一阶导数等于零的方程，通常比较难解。
向量的内积：aTb = ||a||2*||b||2*cos(theta)。theta为函数梯度方向，函数最快上升。theta为函数负梯度方向，函数最快下降。
优化的核心：方向（负梯度），步长。
牛顿法：考虑到二阶导数。
二、概率论重点
1、随机函数的表现形式：
（1）分布函数：离散变量
（2）累积分布函数：连续变量 对概率密度函数求积分
（3）概率密度函数：连续变量 对累积分布函数求导
2、高斯分布：
3、贝叶斯公式：（非常重要）
贝叶斯公式的小练习：方法：直接带入贝叶斯公式。（吸毒|呈阳性——>呈阳性|吸毒）
P（结果呈阳性）：后验概率
三、矩阵重点
1、特征值与特征向量：
2、对称矩阵的对角化：（机器学习中的样本的协方差都是对称矩阵）
对称矩阵的特征值一定是实数。
3、PCA特征分解：
（1）PCA的本质：就是协方差矩阵的相似对角化
（2）PCA的推导过程：
(3)PCA的举例：
四、凸优化重点
1、一般约束优化问题：
2、KKT条件：非常重要
