【7.3（最大似然估计例题）】在统计学中，最大似然估计（Maximum Likelihood Estimation, MLE）是一种常用的参数估计方法。它的基本思想是：根据已知的样本数据，找到使得该样本出现概率最大的模型参数值。这种方法在许多实际问题中具有广泛的应用，尤其在概率分布的参数估计中表现突出。
为了更好地理解最大似然估计的原理和应用，我们通过一个具体的例子来说明其求解过程。
一、问题描述
假设我们有一个独立同分布的随机样本 $ X_1, X_2, \ldots, X_n $，它们服从参数为 $ p $ 的二项分布 $ B(1, p) $，即每个样本只取两个可能的值：0 或 1。这里的 $ p $ 是成功发生的概率，即 $ P(X_i = 1) = p $，$ P(X_i = 0) = 1 - p $。
现在，我们观察到一组样本数据：
$ X_1 = 1, X_2 = 0, X_3 = 1, X_4 = 1, X_5 = 0 $
我们的目标是利用这组数据，通过最大似然估计法来估计参数 $ p $ 的值。
二、构建似然函数
对于二项分布 $ B(1, p) $，单个样本的似然函数可以表示为：
$$
L(p) = \prod_{i=1}^{n} P(X_i = x_i)
$$
其中，$ x_i $ 是第 $ i $ 个样本的观测值。将给定的数据代入：
- $ X_1 = 1 $ → $ p $
- $ X_2 = 0 $ → $ 1 - p $
- $ X_3 = 1 $ → $ p $
- $ X_4 = 1 $ → $ p $
- $ X_5 = 0 $ → $ 1 - p $
因此，似然函数为：
$$
L(p) = p \cdot (1 - p) \cdot p \cdot p \cdot (1 - p) = p^3 (1 - p)^2
$$
三、求导并求极值
为了找到使似然函数最大的 $ p $ 值，通常对似然函数取自然对数，得到对数似然函数，这样便于计算：
$$
\ln L(p) = \ln(p^3 (1 - p)^2) = 3 \ln p + 2 \ln(1 - p)
$$
接下来对对数似然函数关于 $ p $ 求导，并令导数为零：
$$
\frac{d}{dp} \ln L(p) = \frac{3}{p} - \frac{2}{1 - p}
$$
令导数等于零：
$$
\frac{3}{p} - \frac{2}{1 - p} = 0
$$
解这个方程：
$$
\frac{3}{p} = \frac{2}{1 - p} \Rightarrow 3(1 - p) = 2p \Rightarrow 3 - 3p = 2p \Rightarrow 3 = 5p \Rightarrow p = \frac{3}{5}
$$
四、验证结果
我们可以验证该点是否为极大值点。通过对数似然函数的二阶导数判断：
$$
\frac{d^2}{dp^2} \ln L(p) = -\frac{3}{p^2} - \frac{2}{(1 - p)^2} < 0
$$
由于二阶导数为负，说明该点是一个极大值点，因此 $ p = \frac{3}{5} $ 是最大似然估计值。
五、结论
通过上述分析可以看出，最大似然估计的核心在于构造似然函数，并通过最大化它来得到参数的估计值。在这个例子中，我们使用了二项分布下的样本数据，最终得到了参数 $ p $ 的最大似然估计为 $ \frac{3}{5} $。
这一方法不仅适用于二项分布，也广泛应用于正态分布、泊松分布等其他常见分布的参数估计中，是统计推断中的一个重要工具。
