转自-靳志辉（Rickjin@weibo.com）
神说要有正态分布，就有了正态分布。
神说正态分布是好的，就让随机误差服从了正态分布
创世纪---数理统计
正态分布通常又称为高斯分布，其重要作用是使用在误差分析上
对于有误差的测量数据，多次测量取平均是一种比较好的做法；描述如下，我们假设想估计的量是b0,b1...bp，另外有若干可以测量的量x1,...xp,y，这些量之间存在线性关系
如何通过多组观测数据求解出参数b？欧拉和拉普拉斯采用的都是求解线性方程组的方法
但是面临的一个问题是，有n组观测数据，p+1个变量，如果n>p+1，则无法求解。
因为存在这样的矛盾，因此采用最小二乘法来解决，其基本思想就是认为测量中有误差，所以所有方程的累积误差为
我们求解出导致累积误差最小的参数即可。
最小二乘法的优良性作了几点说明：
1. 最小二乘法使得误差平方和最小，并在各个方程的误差之间建立了一种平衡，从而防止某一个极端误差取得支配地位
2. 计算中只要求偏导后求解线性方程组，计算过程明确便捷
3. 最小二乘可以导出算术平均值作为估计值
单说最小二乘本身是一个代数方法，虽然可以导出最优解，对于解的误差有多大？无法给出有效分析，高斯把最小二乘法和正态分布联系在了一起，并使得正态分布在统计误差分析中确立了自己的地位。
------寻找随机误差分布规律
经验（算术平均可以消除误差，提高精度）---问题是随机误差服从什么分布？伽利略说1.误差是对称分布的；2. 大的误差出现的频率低，小的误差出现频率高
拉普拉斯加入
高斯猜想
误差分布导出的极大似然估计=算术平均值
那么正态分布就由极大似然估计推出，基于这个误差分布函数对最小二乘法给出了一个非常漂亮的解释。对于最小二乘法中的每个误差ei服从正态分布，那么对于误差e1,e2,...en的联合概率分布为
要使这个概率最大，那么就是求误差平方和最小。因此，高斯所拓展的最小二乘法就称为了19世纪统计学的重要成就。相当于18世纪数学上的微分学。
而我们熟知的公式实际是由二阶微分方程推导所得出
-------正态分布与最大熵
概率分布熵
均值μ是一阶原点矩，方差是二阶原点矩。因此熵的最大的概率分布p(x|μ，方差)就是正态分布
因此最大熵的分布就是正态分布。正态分布熵的大小，取决于方差的大小。熵的大小反应概率分布中的信息量，而正态分布的形态是由方差所决定。因此信息量与方差有着重要关系
----拉普拉斯中心极限定理
设X1，X2，...,Xn独立同分布，且具有有限均值μ和方差，则在n->无穷
----统计分析和误差分析是两种不同的概念
统计分析--对不同对象的测量
误差分析--对同一对象的多次测量
把统计和概率论联系在一起-----正态分布对于统计数据的拟合
----20世纪的三大分布卡方分布、t分布和f分布
人工实验条件下所得数据的统计分析问题，逐渐被人们重视，由于实验数据量有限，依赖于正态分布的方法开始遭到质疑
在这个背景下，统计学三大分布卡方分布,t分布,F分布开始登上历史舞台（英国三大数理统计学家）
---Pearson
Pearson进一步推导了卡方分布，最早的提出者是物理学家推导空气分子的运动速度，发现在三个坐标轴上分别呈正态分布，而分子运动速度的平方v^2符合自由度为3的卡方分布。Pearson的假设检验
----t分布
戈塞特提出了样本均值与标准差比值的分布
---F分布 fisher
极大似然估计，X和Y分别服从卡方分布
回归正态分布
1. 为什么正态分布被如此广泛地使用？
2. 为什么正态分布在实践使用中非常成功？
Jaynes指出，正态分布在实践中成功地被广泛应用，主要是因为正态分布在数学方面具有多种稳定性质，这些性质包括：
1. 两个正态分布密度的乘积还是正态分布
2. 两个正态分布密度的卷积还是正态分布，也就是两个正态分布的和还是正态分布
3. 正态分布的傅里叶变换还是正态分布
4. 中心极限定理保证了多个随机变量的求和效应将导致正态分布效应
5. 正态分布和其他具有相同方差的其他分布相比，具有最大熵
前三个性质保证正态分布的形态稳定。后两个性质说明其他分布在各种操作下容易越来越接近正态分布
正态分布具有最大熵性质，所以任何一个对指定概率分布的操作，如果该操作保持方差大小，却减少已知知识，该操作不可避免地增加概率分布的信息熵，导致概率分布向正态分布靠近。
正态分布还有一个经常使用的原因正是由于它的最大熵性质。在很多时候我们没有任何外界知识知道数据的真实分布是什么，但是均值和方差往往是稳定的，我们能从数据中获取到比较好的知识就是均值和方差，除此之外没有其他更加有用的信息量。因此按照最大熵原理，在给定知识的限制下，选择熵最大的概率分布。
