极大似然估计法是基于极大似然原理提出的,为了说明极大似然原理,我们先看个例子
例子:
1、某同学与一位猎人一起外出打猎。忽然,一只野兔从前方窜过,只听一声枪响,野兔应声倒下,若你推测一下,是谁击中了野兔,你会怎样想
2、有一时间A,我们知道它发生的概率p只可能是:
p=0.1,0.3或0.6
若在一次观测中,事件A发生了,试让你推想一下p取何值
最大似然原理
概率大的事件在一次观测中更容易发生;
在一次观测中发生了的事件其概率应该大
(1)若总体X属于离散型,其分布律
的形式为已知,θ为待估参数,Θ是θ可能取值的范围。
设X1,...,Xn是来自X的样本;则X1,...,Xn的联合函数
又设x1,...,xn是X1,...,Xn的一个样本值,易知样本X1,...,Xn取x1,...,xn的概率,亦即事件{X1=x1,...,Xn=xn}发生的概率为:
它是θ的函数,L(θ)称为样本的似然函数。
由极大似然估计法:x1,...,xn;挑选使概率L(x1,...,xn;θ)达到最大的参数,作为θ的估计值即取
使得
&\hatθ与x1,...,xn有关,记为
称其为参数θ的最大似然估计值
(2)若总体X属连续型,其概率密度
的形式已知,θ为待估参数
的最大值,这里L(θ)称为样本的似然函数,若
则称
为θ的最大似然估计值,称
为θ的最大似然估计值 一般,p(x;θ),f(x;θ)关于θ可微,故θ可由下式求得
若总体分布中包含多参数,即可令
解k个方程组求的θ的最大似然估计值
小结:最大似然估计法的一般步骤:
-
**写似然函数L **
取对数
求导数,得驻点,最大值点
作结论
例子:
设总体X服从参数为\lamda的指数分布,(x1,x2,...,xn)为样本观察值,求\lamda的最大似然估计值
解:总体X的概率密度函数为:
设总体X分布律为:
求参数p的最大似然估计量