通过事实，推断出最有可能的情况，就是最大似然估计。

1、直观的例子

现在让情况没有那么极端：

假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我们想知道罐中白球和黑球的比例，现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？

很多人马上就有答案了：70%。而其后的理论支撑是什么呢？

2、理论分析

我们假设罐中白球的比例是p，那么黑球的比例就是1-p。因为每抽一个球出来，在记录颜色之后，我们把抽出的球放回了罐中并摇匀，所以每次抽出来的球的颜 色服从同一独立分布。

那么问题来了，既然有无数种分布可以选择，极大似然估计应该按照什么原则去选取这个分布呢？

如果第一次抽象的结果记为x1,第二次抽样的结果记为x2....那么样本结果为(x1,x2.....,x100)。这样，我们可以得到如下表达式：

P(样本结果|Model)

　　= P(x1,x2,…,x100|Model)

　　= P(x1|Mel)P(x2|M)…P(x100|M)

　　= p^70(1-p)^30.

答：采取的方法是让这个样本结果出现的可能性最大，也就是使得p^70(1-p)^30值最大，那么我们就可以看成是p的方程，求导即可！

那么既然事情已经发生了，为什么不让这个出现的结果的可能性最大呢？这也就是最大似然估计的核心。

我们想办法让观察样本出现的概率最大，转换为数学问题就是使得：

p^70(1-p)^30最大，这太简单了，未知数只有一个p，我们令其导数为0，即可求出p为70%，与我们一开始认为的70%是一致的。其中蕴含着我们的数学思想在里面。

求最大似然估计的问题，就变成了求似然函数的极值问题。

3、最大似然与最小二乘法的区别与联系

最小二乘估计：找到一个（组）估计值，使得观测值与估计值的平方和最小。这时，将这个差的平方的和式对参数求导数，并取一阶导数为零。

最大似然估计：使从模型中抽取该n组样本观测值的概率最大，也就是概率分布函数或者说是似然函数最大。这时是求样本所有观测的联合概率最大化，是个连乘积，只要取对数，就变成了线性加总。此时通过对参数求导数，并令一阶导数为零，就可以通过解方程（组），得到最大似然估计值。

最大似然法需要已知这个概率分布函数，一般假设其满足正态分布函数的特性，在这种情况下，最大似然估计和最小二乘估计是等价的，也就是说估计结果是相同的

总结一句话： 最小二乘法的核心是权衡，因为你要在很多条线中间选择，选择出距离所有点之后最短的，而极大似然核心是自恋，要相信自己是天选之子，自己看到的，就是冥冥之中最接近真相的。

4、最大似然估计与贝叶斯定理的异同

最大似然估计是“模型已知，参数未定”的典型方法。最大似然法是要解决这样一个问题：给定一组数据和一个参数待定的模型，如何确定模型的参数，使得这个确定参数后的模型在所有模型中产生已知数据的概率最大。

在最大似然法中，只考虑了由一个模型产生一个已知数据的概率，而没有考虑模型本身的概率。相对应的考虑了模型本身概率的方法，是贝叶斯方法（Bayesian method)。

扔了100次硬币，100次出现的都是“花”，不论是最大似然估计，或者是贝叶斯定理，都认为有必要对之前假设的硬币的参数进行调整。不同之处在于，贝叶斯定理还要考虑，两面都是“花”的硬币本身存在的概率有多高。如果我的硬币不是精心准备的，而是随机挑选的，那么一枚硬币两面都是“花”可能性微乎其微，几乎就是一个传说。那么贝叶斯会认为哪怕扔了100次硬币，100次出现的都是“花”，但是因为两面都是“花”的硬币实在太少，那么实际这枚硬币是两面“花”的可能性仍然不高。而最大似然则会认为两面是花的概率更大。

先验概率对结果的影响很大。不过，当数据量比较大的时候，先验概率的影响就会减小。

参考文献

【1】https://www.zhihu.com/question/20447622/answer/23848605  作者：稻花香  最大似然估计和最小二乘法怎么理解？

【2】https://zhuanlan.zhihu.com/p/26614750  作者：忆臻  一文搞懂极大似然估计

【3】https://www.jianshu.com/p/9b56ffdb9ea6    最大似然估计和最小二乘法

【4】https://blog.csdn.net/xidianzhimeng/article/details/20847289    最大似然估计和最小二乘估计的区别与联系

【5】https://www.zhihu.com/question/24124998/answer/242682386    如何通俗地理解概率论中的「极大似然估计法」