7 最大后验估计 (MAP)

查看大图

贝叶斯学习的重点是把已有判断和新证据合在一起，并明确表达不确定性。阅读时可以按「贝叶斯定理与后验分布 -> 最大后验估计 的定义 -> MAP的应用案例：硬币抛掷 -> 选择先验分布」建立结构，再回到正文里的代码、案例或指标做验证。

查看大图

读完后，用一个真实小任务复查：输入是什么，处理环节在哪里，输出是否可验收；失败时先查「贝叶斯定理与后验分布」，再查「最大后验估计 的定义」。

在本篇教程中，我们将深入探讨最大后验估计（Maximum A Posteriori Estimation, MAP）。在上一篇中，我们学习了贝叶斯定理的基础知识及其更新规则。现在，我们将利用贝叶斯定理来进行参数估计，通过最大后验估计来求解参数。

贝叶斯定理与后验分布

贝叶斯定理的核心思想是通过观察到的数据来更新我们对某一参数的信念。后验分布是我们在观察到数据后对参数的分布，这可以从以下公式表示：

查看大图

学习最大后验估计时，先比较似然和先验各自提供什么信息。样本少或噪声大时，先验会明显影响最终参数。

$$p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)}$$

其中：

• $p(\theta | D)$ 是在给定数据 $D$ 的条件下参数 $\theta$ 的后验分布。
• $p(D | \theta)$ 是似然函数，即在参数 $\theta$ 下数据 $D$ 出现的概率。
• $p(\theta)$ 是先验分布，反映了在观察数据之前我们对参数 $\theta$ 的信念。
• $p(D)$ 是边际似然，不依赖于参数 $\theta$。

最大后验估计 (MAP) 的定义

最大后验估计（MAP）是通过最大化后验分布来估计参数值。具体而言，我们寻找以下表达式的最大值：

查看大图

学习《最大后验估计 (MAP)》不必一口气吃完所有细节。先挑一个能动手验证的小问题，再顺着图和正文补齐概念。

$$\hat{\theta}_{MAP} = \arg \max_{\theta} p(\theta | D)$$

利用贝叶斯定理，上述表达式也可以转化为：

$$\hat{\theta}_{MAP} = \arg \max_{\theta} p(D | \theta) p(\theta)$$

因为 $p(D)$ 是常数，因此在最大化时可以忽略它。

MAP的应用案例：硬币抛掷

假设我们有一枚硬币，我们想估计硬币朝上的概率 $\theta$，我们进行了10次抛掷，结果得到了7次正面（H），3次反面（T）。我们可以利用最大后验估计来估计 $\theta$。

1. 选择先验分布

我们选用一个Beta分布作为先验分布：

$$p(\theta) = \text{Beta}(\alpha, \beta) = \frac{\theta^{\alpha - 1} (1 - \theta)^{\beta - 1}}{B(\alpha, \beta)}$$

我们选择 $\alpha = 2$ 和 $\beta = 2$，这表示我们在抛掷之前认为正反面是一样的。

2. 似然函数

在10次抛掷中，得到7次正面，3次反面，似然函数为：

$$p(D | \theta) = \theta^7 (1 - \theta)^3$$

3. 后验分布的计算

最大化后验分布等同于最大化以下表达式：

$$p(\theta | D) \propto p(D | \theta) p(\theta) \propto \theta^7 (1 - \theta)^3 \cdot \theta^{1} (1 - \theta)^{1} = \theta^{8} (1 - \theta)^{4}$$

4. 求解MAP估计

要求 $\theta^{8} (1 - \theta)^{4}$ 的最大值，我们可以对其进行求导并找到临界点：

$$\frac{d}{d\theta} \left( \theta^{8} (1 - \theta)^{4} \right) = 0$$

使用优化算法或数值计算，可以得到：

import numpy as np
from scipy.optimize import minimize_scalar

# 定义目标函数
def objective(theta):
    return - (theta**8 * (1 - theta)**4)  # 负号因为我们在求最小值

result = minimize_scalar(objective, bounds=(0, 1), method='bounded')
theta_map = result.x
print("MAP估计的值：", theta_map)

这段代码将会输出我们估计的硬币正面朝上的概率 $\theta$ 的值。

查看大图

如果《最大后验估计 (MAP)》还没完全消化，可以从这张卡片的四个动作重新走一遍。

查看大图

回看《最大后验估计 (MAP)》时，不必一次做大项目，先用一条简单样例确认主线是否清楚。

总结

本篇教程详细介绍了最大后验估计（MAP）的概念及其应用。我们利用硬币抛掷的例子，展示了如何通过最大化后验分布来求解参数。在下篇教程中，我们将比较贝叶斯估计与频率估计，进一步加深我们对统计推断的理解。

通过掌握最大后验估计，我们为进一步的贝叶斯学习打下了基础。如果你有任何疑问或需要更深入的讨论，欢迎随时提问！