4 贝叶斯定理基础之贝叶斯定理的推导

查看大图

贝叶斯学习的重点是把已有判断和新证据合在一起，并明确表达不确定性。阅读时可以按「贝叶斯定理的形式 -> 贝叶斯定理的推导 -> 先验 -> 似然」建立结构，再回到正文里的代码、案例或指标做验证。

查看大图

读完后，用一个真实小任务复查：输入是什么，处理环节在哪里，输出是否可验收；失败时先查「贝叶斯定理的形式」，再查「贝叶斯定理的推导」。

在上一章节中，我们介绍了统计推断的基本概念，强调了在不确定性条件下做出决策的重要性。接下来，我们将深入探讨贝叶斯定理的推导，这是统计推断中的一个核心工具。贝叶斯定理为我们提供了一种结合先验知识与新数据来更新我们对某一事件的信念的方法。

贝叶斯定理的形式

贝叶斯定理描述了如何通过先验概率与似然函数来更新后验概率。其基本形式可以用以下方程表示：

查看大图

推导贝叶斯定理时，先从联合概率入手。把同一个事件组合用两种顺序表示，就能看出先验、似然和后验之间的关系。

$$P(H|E) = \frac{P(E|H) \cdot P(H)}{P(E)}$$

其中：

• $P(H|E)$ 是后验概率，即在观察事件 $E$ 之后，假设 $H$ 成立的概率。
• $P(E|H)$ 是似然度，表示在假设 $H$ 为真时，观察到事件 $E$ 的概率。
• $P(H)$ 是先验概率，即在观察事件 $E` 之前，对假设$H$ 的初始信念。
• $P(E)$ 是边际概率，可以看作所有假设下观察到事件 $E$ 的概率。

贝叶斯定理的推导

为了推导贝叶斯定理，我们先从条件概率的定义出发。条件概率的定义为：

查看大图

读完《贝叶斯定理基础之贝叶斯定理的推导》不要只停在“看懂了”。回头挑一个步骤动手做一遍，再记录哪里卡住，后面的学习会更稳。

$$P(H|E) = \frac{P(H \cap E)}{P(E)}$$

根据条件概率的对称性，我们还可以写成：

$$P(E|H) = \frac{P(H \cap E)}{P(H)}$$

从这两式中，我们可以推出以下关系：

$$P(H \cap E) = P(E|H) \cdot P(H)$$

将此公式代入到后验概率的公式中，我们可以得到：

$$P(H|E) = \frac{P(E|H) \cdot P(H)}{P(E)}$$

在此基础上，我们需要计算边际概率 $P(E)$。边际概率可以通过全概率公式得到：

$$P(E) = P(E|H) \cdot P(H) + P(E|¬H) \cdot P(¬H)$$

将这一公式代入贝叶斯定理的推导中，我们最终确认了贝叶斯定理的正确性。

案例分析

为了更好地理解贝叶斯定理，我们来看一个具体的案例。

假设我们正在进行一种疾病的检测，已知该疾病在某一人群中的发病率为 $P(Disease) = 0.01$（即先验概率）。我们还知道：

• 如果一个人患有该疾病，检测结果呈阳性的概率为 $P(Positive|Disease) = 0.9$（即似然度）。
• 对于没有疾病的人，检测结果呈阳性的概率为 $P(Positive|¬Disease) = 0.05$。

我们想知道，如果某人检测结果为阳性，实际上他有疾病的概率，即后验概率 $P(Disease|Positive)$。

根据贝叶斯定理，我们首先需要计算边际概率 $P(Positive)$：

$$P(Positive) = P(Positive|Disease) \cdot P(Disease) + P(Positive|¬Disease) \cdot P(¬Disease)$$

带入数值计算：

$$P(Positive) = 0.9 \cdot 0.01 + 0.05 \cdot (1 - 0.01) = 0.009 + 0.0495 = 0.0585$$

接下来，我们可以应用贝叶斯定理计算后验概率：

$$P(Disease|Positive) = \frac{P(Positive|Disease) \cdot P(Disease)}{P(Positive)} = \frac{0.9 \cdot 0.01}{0.0585} \approx 0.1538$$

因此，即使检测结果为阳性，实际上该患者患有疾病的概率只有约 15.38%，这强调了在面对不确定性时先验概率的重要性。

查看大图

读到这里，可以把《贝叶斯定理基础之贝叶斯定理的推导》整理成一张复盘表：先说清主线，再拿一个小任务检查结果。

查看大图

读完《贝叶斯定理基础之贝叶斯定理的推导》后，可以先挑一个小样例走完整流程，再判断哪些步骤已经能独立完成。

总结

贝叶斯定理提供了一种结构化的方法来更新我们对某一事件的信念，它的推导基于条件概率的基本概念。在实际应用中，通过结合先验知识与新数据，贝叶斯推断能够有效地帮助我们做出更为准确的决策。在下一个章节中，我们将探讨贝叶斯定理基础之先验分布与后验分布的深入探讨。