极大似然估计解析：统计学中的黄金法则

luyuanhong

极大似然估计解析：统计学中的黄金法则

原创 Fairy Girl Fairy Girl 2024 年 09 月 08 日 15:40 浙江

极大似然估计是求总体未知参数的另一种常用的点估计方法。为了便于理解极大似然估计的基本思想，我们先看一个名柯小故事吧！

有一天，光彦他们三个想到一个终极的智力问答，想考考柯南！

光彦说：“我有一个装有黑和白两种颜色球的箱子，但我只知道其中一种颜色的球有 90 个，另一种颜色的球只有 10 个”。然后，光彦随机从箱子中抽取两个球，结果都是白球。

于是，光彦就问柯南：“你知道我这个箱子中哪种颜色的球只有 10 个吗？”

柯南略微思索后，说：“黑球！”

光彦惊讶的说，你为什么知道是黑球呀？柯南解释道，我们不妨假设箱子中白球的比例为 p（后面要推断的值），事实上 p 的取值就是两种可能，即 p=0.1 或 p=0.9 ，不管是那种可能，从箱子中任取 2 个球都是白球这个事件都是可能发生的。但是

● 若 p=0.1 时，则取得的都是白球的概率为 p^2=0.1^2 =0.01；

● 若 p=0.9 时，则取得的都是白球的概率为 p^2=0.9^2=0.81 ；

这个计算结果表明，当 p=0.9 时，取得的 2 个球都是白球的概率大，这说明箱子中白球有 90 个，黑球只有 10 个的可能性大，所以推断 p=0.9 。这就是对未知参数 p 的极大似然推断。

即，在 p 的所有备选取值假定下，比较样本发生概率的大小，使样本发生概率最大的 p 的取值，即为 p 的极大似然估计。

极大似然估计

极大似然估计（Maximum Likelihood Estimation ，简称 MLE）是一种在统计学中用于估计模型参数的方法。



基本思想：给定一组样本数据，我们想要找到模型参数的估计值，使得这组数据在这些参数下出现的概率（似然性）最大。



极大似然估计的步骤，如下所示：



似然函数

上述步骤中的似然函数，实际上是统计学中用来估计模型参数的一个关键概念。它描述了在给定参数值的条件下，观测到当前数据的概率。

似然函数通常表示为

                 L(θ|x) = f(x|θ)

其中

●  θ 是未知参数，

●  x 是总体 X 的样本观测值，

●  f(x|θ) 是密度函数，表示给定参数 θ 下的概率密度函数。

似然函数 L(θ|x) 是关于 θ 的函数，而密度函数 f(x|θ) 是关于 x 的函数。





即，概率 f(x|θ) 表达了在给定参数 θ 时 X=x 的可能性，而似然 L(θ|x) 表示的是在给定样本 X=x 时，参数为 θ 的可能性！

极大似然估计的计算



由此可以看出，极大似然估计最后变成一个求极值的公式。这样我们就可以数学的手段计算出未知参数 θ 啦！



极大似然估计的计算案例（来自唐宇迪老师课件）




极大似然估计在许多领域都有应用，例如机器学习等。它的优点是直观且在大样本情况下具有良好的性质，比如一致性和渐近正态性。

然而，它也有局限性，比如在样本量较小或者模型选择不当时，MLE 可能不是最佳选择。

在探索未知世界中，极大似然估计就像是一位侦探，通过观察现有的证据（数据），推理出最有可能的犯罪现场（参数估计），让我们得以一窥数据背后的真相。

Fairy Girl