高等数学基础
本文参考了目前网上诸多的机器学习数学复习讲义，取其精华，逐步深入，在帮助大家进行复习的同时，尽可能降低学习曲线。
概要
- 极限定理
- 夹逼定理
- 积分微分基础(导数定义，常见函数求导，导数运算法则，复合函数求导)
- 凹凸函数
- 牛顿-莱布尼
- Taylor公式、Maclaurin公式
- 方向导数和梯度
- Gamma函数
- Jensen不等式
- 拉格朗日乘子法
1. 极限定理
2. 夹逼定理##
6a600c338744ebf86edf86dfd9f9d72a6159a7a0.jpg
3. 积分微分基础##
导数的定义##
图片1.png
常见的函数求导##
图片1.png
导数运算法则##
图片1.png
求导运算
图片1.png
复合函数求导
定义
图片1.png
简单应用
图片1.png
进阶应用
图片1.png
注：图中第一步到第二步采用的是分步积分法
4.凹凸函数
凸集定义
图片1.png
曲线凸凹性
图片1.png
凹凸性判别
图片1.png
凸函数的一般形式
图片1.png
一阶可微
图片1.png
二阶可微
图片1.png
解释如下图
图片1.png
图中举例一个二元函数，一阶导是向量，二阶导是矩阵，矩阵的值大于0,这说明这是个正定矩阵，说明对于的函数是凸函数
凸函数举例
图片1.png
5.牛顿-莱布尼公式
图片1.png
6.Taylor公式
图片1.png
可以从上图看到，Taylor公式在x=0处展开，就是Maclaurin公式。
实践中，如果x的值过大，导致函数很晚才收敛，前面的计算数值非常大，造成不方便，所以我们会进行一定程度上的变换
图片1.png
上图的推导可以看出，任何一个x=N+R，R都是<=0.5的，都可以得到最后一个结论，从而很快速的求值
7.方向导数和梯度
图片1.png
图片1.png
8.Gamma函数
图片1.png
图片1.png
图片1.png
上图推导我们可以看到，第三步分步积分，第四部，把前面部分打开，
第一块是无穷*0，但是0的阶乘比无穷高，所以等于0，
第二块，0*1 = 0，所以只剩后面部分了
9.Jensen不等式
图片1.png
应用
图片1.png
图片1.png
11.拉格朗日乘子法
图片1.png
图片1.png
