8 贝叶斯估计与频率估计的比较

查看大图

贝叶斯学习的重点是把已有判断和新证据合在一起，并明确表达不确定性。阅读时可以按「理论基础 -> 贝叶斯估计 -> 频率估计 -> 案例比较」建立结构，再回到正文里的代码、案例或指标做验证。

查看大图

读完后，用一个真实小任务复查：输入是什么，处理环节在哪里，输出是否可验收；失败时先查「理论基础」，再查「贝叶斯估计」。

在之前的讨论中，我们介绍了最大后验估计 (MAP)，这是参数估计中的一个重要方法。今天，我们将进一步探讨贝叶斯估计与频率估计的比较，强调这两种方法在参数估计中的不同以及它们各自的优缺点。

理论基础

贝叶斯估计

查看大图

比较贝叶斯估计和频率估计时，先看参数观念、样本使用方式、先验信息和结果解释。

贝叶斯估计是一种基于贝叶斯定理的参数估计方法。通过结合先验知识和观测数据，贝叶斯估计能够为参数提供一个后验分布。给定观测数据 $x$，参数 $\theta$ 的后验分布可以表示为：

$$p(\theta | x) = \frac{p(x | \theta) p(\theta)}{p(x)}$$

其中，$p(x | \theta)$ 是似然函数，$p(\theta)$ 是先验分布，$p(x)$ 是边际似然。贝叶斯估计通常通过计算后验分布的期望值来获得参数的点估计：

$$\hat{\theta}_{\text{Bayes}} = E[\theta | x] = \int \theta p(\theta | x) d\theta$$

频率估计

频率估计则主要依赖于观测数据本身，没有引入先验信息。在频率统计中，最常用的方法是最大似然估计 (MLE)。MLE 通过最大化似然函数来找到参数的估计值：

$$\hat{\theta}_{\text{MLE}} = \arg \max_{\theta} p(x | \theta)$$

这种方法只依赖于数据，从而可以避免先验信息的引入。

案例比较

为了更好地理解贝叶斯估计与频率估计之间的区别，我们考虑一个简单的案例。假设我们要估计一个硬币的正面朝上的概率 $\theta$。

查看大图

读完《贝叶斯估计与频率估计的比较》不要只停在“看懂了”。回头挑一个步骤动手做一遍，再记录哪里卡住，后面的学习会更稳。

数据生成

假设我们抛硬币 10 次，得到了 7 次正面朝上：

import numpy as np

# 模拟抛硬币 10 次
np.random.seed(42)
n_flips = 10
heads = 7  # 正面朝上的次数

贝叶斯估计

首先，我们选取一个 Beta 分布作为先验分布 $p(\theta)$，例如 $Beta(1, 1)$，这表示我们最初对硬币是公平的假设。然后，根据观测到的数据更新这个分布。

后验分布将是：

$$p(\theta | x) \sim Beta(1 + \text{heads}, 1 + \text{tails}) = Beta(8, 4)$$

使用 Python 计算后验期望值：

from scipy.stats import beta

# 先验参数
a_prior = 1
b_prior = 1

# 更新后验参数
a_post = a_prior + heads
b_post = b_prior + (n_flips - heads)

# 后验期望
posterior_mean = beta.mean(a_post, b_post)
posterior_mean

频率估计

对于频率估计，我们可以使用最大似然估计：

$$\hat{\theta}_{\text{MLE}} = \frac{\text{heads}}{n\_flips} = \frac{7}{10} = 0.7$$

这是基于观测到的数据直接计算的结果。在 Python 中的实现如下：

# 最大似然估计
mle_estimate = heads / n_flips
mle_estimate

查看大图

读到这里，可以把《贝叶斯估计与频率估计的比较》整理成一张复盘表：先说清主线，再拿一个小任务检查结果。

查看大图

读完《贝叶斯估计与频率估计的比较》后，可以先挑一个小样例走完整流程，再判断哪些步骤已经能独立完成。

比较总结

• 信息来源：

  • 贝叶斯估计结合了先验信息与数据，适用于数据稀缺的情况。
  • 频率估计完全依据观测数据，适用于数据充足的情况。

• 结果表现：

  • 贝叶斯估计产生一个后验分布，可以提供不确定性量化。
  • 频率估计提供单一的点估计，缺乏不确定性表征。

• 适用场景：

  • 贝叶斯方法能够灵活结合先验知识，非常适合在不确定性较大的场景使用。
  • 频率方法在大样本情况下通常表现较好且实现简单。

在下一篇文章中，我们将讨论参数的选择与评估，深入探讨如何根据估计结果选择合适的模型和方法。