数学竞赛
编写了整除部分的讲义。
图模型（Bishop chap 8）
图模型的优点：
1，有简单的方式可以可视化概率模型的结构，比较有可解释性。
2，能够通过看图得到关于条件独立性等等的结果。
随机图的区分，有向图：贝叶斯网络（呈现因果关系）
无向图：马尔可夫随机场（呈现软约束）
全连接的图：，每一对节点之间会有相连。不过画成图的时候因为我们有选择
的先后顺序会导致画出来的图不是对称的。
要求：有向无环图
Sampling Methods（Bishop chap11）
想要估计
采用估计： 无偏估计
方差：
（蒙特卡洛方法）
注意：
1，估计器的精度不依赖z的维数。
2，根据这个方差的公式，我们似乎可以通过比较少的样本就能达到不错的精度。但是实际中要考虑到样本之间可能不是互相独立的。所以我们理应需要更多的样本。
3，假如真实的f和p满足：在f比较大的时候p比较小，在f比较小的时候p比较大，那么可能就需要比较多的样本量达到想要的精度。（这点没有理解！）🔺
有向图的采样：先采父再采子。
无向图的采样:
（In the case of probability distributions defined by an undirected graph, there is no one-pass sampling strategy that will sample even from the prior distribution with no observed variables. Instead, computationally more expensive techniques must be employed, such as Gibbs sampling🔺）
蒙特卡洛估计如何降低方差（用比较少的样本量）是一个问题。
直接求逆函数的方法：
用的方法可以生成一维随机连续变量的随机数。
生成二维的正态分布的方法
缺点：需要计算并且求逆不定积分，只能对少数的好求的分布来做。
Rejection sampling ：
前提，p可以算，至少up to 常数
找一个简单的q分布，和k满足上图，先从q里面随机取z，然后里取出随机数，如果比
大我们就拒绝，否则接受。
接受的概率是
所以如果k越小越好。如果q跟p越接近越好。
缺点：还是很难为q确定解析形式（毕竟要把p包住）
Adaptive rejection sampling
想法是我们上面用reject sampling 方法的话，q不好找，而且可能会空出很多，效率不高。
如果函数本身是log concave ，我们可以采用一种新的构造q的方法：
我们先弄有限的切线，e之后形成一个暂用的包络函数，然后我们再进行reject sampling ，如果在某一点拒绝了，我们就把这个点作为节点重新弄一个切线。形成一个新的包络函数，这样子就可以动态更新包络函数。
缺点:只能对log concave，有一种和Metropolis-Hastings结合的方法会在后面讨论。
高维很差，举例来说我们采样方差的正态，我们用更大的方差
的正态去包络，拒绝率
随着D上升会指数衰减，这就麻烦了。
Importance sampling
和前面不一样，我们不采样某个分布p，而是直接对给出一个逼近。
