5 贝叶斯定理基础之先验分布与后验分布

查看大图

贝叶斯学习的重点是把已有判断和新证据合在一起，并明确表达不确定性。阅读时可以按「先验分布 -> 先验分布的类型 -> 示例：选择先验分布 -> 后验分布」建立结构，再回到正文里的代码、案例或指标做验证。

查看大图

读完后，用一个真实小任务复查：输入是什么，处理环节在哪里，输出是否可验收；失败时先查「先验分布」，再查「先验分布的类型」。

在上一篇中，我们讨论了贝叶斯定理的推导过程，了解了如何从先验知识更新我们的信念。在本篇文章中，我们将深入探讨“先验分布”和“后验分布”的概念及其重要性。通过实例，我们将展示如何为具体问题选择先验分布，并计算后验分布。

先验分布

先验分布 是在观测数据之前，对某一随机变量的概率分布的主观或客观表示。它反映了我们在收集数据之前的知识或信念。

查看大图

学习先验分布与后验分布时，先把原始判断、观察数据和更新结果放在一条线上。

先验分布的类型

1. 非信息性先验：

   • 这种先验分布不偏向于任何特定区间，适合于缺乏先验知识的场景。常用的形式是均匀分布。

2. 信息性先验：

   • 这种先验分布结合了先前的知识或研究结果。像正态分布、伽马分布等都是常见的选择，例如对于均值未知但已知方差的正态分布。

示例：选择先验分布

假设我们想要估计某个产品的坏品率。我们可能知道在过去的生产中，该坏品率大约在1%到5%之间。我们可以选择一个在这一区间内的Beta分布作为我们的先验分布。

设坏品率为θ，我们可以使用以下形式的贝塔分布作为先验分布：

$$\text{Beta}(\alpha, \beta) \quad \text{其中} \; \alpha=2, \beta=8$$

这表示我们的信念是，坏品率比较低。

后验分布

后验分布 是在观察到数据之后，随机变量的概率分布。这是对先验分布与观测数据的更新结果。根据贝叶斯定理，后验分布的计算可以通过以下公式实现：

查看大图

读完《贝叶斯定理基础之先验分布与后验分布》后，可以回头问三件事：它解决什么问题，哪一步最容易出错，自己能否拿一个小例子跑通。

$$P(\theta | D) = \frac{P(D | \theta) P(\theta)}{P(D)}$$

• $P(\theta | D)$ 是后验分布。
• $P(D | \theta)$ 是似然函数，表示给定参数θ下观测到数据D的概率。
• $P(\theta)$ 是先验分布。
• $P(D)$ 是边际似然，通常是个常数，表示所有可能参数值的加权平均。

示例：计算后验分布

继续我们的坏品率的估计，假设我们进行了100个产品的质量检验，发现其中有3个是坏品。我们可以用上述公式计算后验分布。

1. 似然函数： 这里我们可以用二项分布来描述检测到的坏品数目：

$$P(D | \theta) = \binom{n}{k} \theta^k (1 - \theta)^{n - k}$$

其中，$n$是总检验数量，$k$是坏品数量。

2. 先验分布： 我们用先前所选的贝塔分布：

$$P(\theta) = \text{Beta}(2, 8)$$

3. 后验分布的计算： 将这些代入贝叶斯公式中，利用后验分布的性质，我们可以得到：

$$P(\theta | D) \propto P(D | \theta) \cdot P(\theta)$$

这会得到一个新的贝塔分布，具体的参数值会发生什么变化呢？

• 通过计算，我们将获得：

$$\text{后验分布} \quad P(\theta | D) = \text{Beta}(2 + 3, 8 + (100 - 3)) = \text{Beta}(5, 105)$$

这种形式的后验分布能够充分体现我们在观察数据后的信念更新。

查看大图

复习《贝叶斯定理基础之先验分布与后验分布》时，建议把关键概念、操作步骤和可见结果放在同一页里回看。

查看大图

练习《贝叶斯定理基础之先验分布与后验分布》时，建议把输入条件、处理动作和可见结果写在一起，方便下次复查。

小结

在本篇教程中，我们深入探讨了先验分布与后验分布的定义以及它们的重要性。通过选择适当的先验分布，并结合观测数据，我们能够计算出后验分布，从而反映更新后的信念。

在下一篇教程中，我们将讨论贝叶斯更新规则及其实际案例，进一步增强对贝叶斯学习与统计推断的理解。请保持关注！