16 贝叶斯定理的理解

查看大图

贝叶斯定理是在新证据出现后更新判断。它把原先相信什么、证据多支持什么、证据本身多常见放在一起计算。

查看大图

我会分清先验和似然。把 P(A|B) 和 P(B|A) 混掉，是贝叶斯题最常见错误。

在上一篇中，我们探讨了中心极限定理的应用，了解了在大量独立同分布的随机变量的和的行为情况。现在，我们将转向概率论中的一个基本概念——贝叶斯定理。贝叶斯定理是理解概率和推理的重要工具，它在人工智能和机器学习的许多领域都有广泛应用。

贝叶斯定理的基本概念

贝叶斯定理表述了条件概率的关系。首先，我们先定义几个重要的概念：

查看大图

理解贝叶斯定理时，先写出原始概率、证据出现概率、条件概率，再看证据如何改变事件可信度。

• 先验概率（Prior Probability）$P(A)$：在获得任何证据之前，我们对事件$A$发生的估计概率。
• 似然性（Likelihood）$P(B|A)$：在事件$A$发生的情况下，事件$B$发生的概率。
• 证据的概率（Marginal Probability）$P(B)$：事件$B$发生的总概率，可以通过所有可能的事件$x$的全概率公式计算得出：$P(B) = P(B|A)P(A) + P(B|A')P(A')$，其中$A'$表示事件$A$的不发生。
• 后验概率（Posterior Probability）$P(A|B)$：在获得证据$B$后，更新事件$A$发生的概率。

贝叶斯定理的数学表达式为：

$$P(A|B) = \frac{P(B|A) P(A)}{P(B)}$$

理解贝叶斯定理

为了更好地理解贝叶斯定理，我们可以通过一个简单的案例来说明。

查看大图

看完《贝叶斯定理的理解》后，建议用一分钟复盘：关键概念是否分清、练习步骤是否可复现、结论能不能换成自己的话。

案例：疾病检验

假设我们有一种罕见的疾病，患病概率（先验概率）为1%（即$P(\text{有病}) = 0.01$），某种医疗测试能够检测出该疾病。如果一个人实际上有病，该测试的阳性率（敏感性）为90%（即$P(\text{测试阳性}|\text{有病}) = 0.9$），而当一个人没有病时，测试也有10%的假阳性率（即$P(\text{测试阳性}|\text{无病}) = 0.1$）。

我们想知道如果测试结果是阳性，那么这个人实际上有病的概率是多少，即求$P(\text{有病}|\text{测试阳性})$。

根据贝叶斯定理，我们可以代入上述信息：

1. 先验概率：

   • $P(\text{有病}) = 0.01$
   • $P(\text{无病}) = 1 - P(\text{有病}) = 0.99$

2. 似然性：

   • $P(\text{测试阳性}|\text{有病}) = 0.9$
   • $P(\text{测试阳性}|\text{无病}) = 0.1$

3. 证据的概率：计算$P(\text{测试阳性})$：

   $$P(\text{测试阳性}) = P(\text{测试阳性}|\text{有病})P(\text{有病}) + P(\text{测试阳性}|\text{无病})P(\text{无病})$$ $$= 0.9 \times 0.01 + 0.1 \times 0.99 = 0.009 + 0.099 = 0.108$$

4. 后验概率： 现在我们可以计算后验概率：

   $$P(\text{有病}|\text{测试阳性}) = \frac{P(\text{测试阳性}|\text{有病}) P(\text{有病})}{P(\text{测试阳性})}$$ $$= \frac{0.9 \times 0.01}{0.108} \approx 0.0833$$

因此，尽管测试结果为阳性，这个人实际上患有这种疾病的概率只有约8.33%，这表明了即使有相对较高的测试敏感性，因该疾病罕见，后验概率也会受到影响。

查看大图

读到这里，可以把《贝叶斯定理的理解》整理成一张复盘表：先说清主线，再拿一个小任务检查结果。

查看大图

读完《贝叶斯定理的理解》后，可以先挑一个小样例走完整流程，再判断哪些步骤已经能独立完成。

小结

通过上述案例，我们可以看到贝叶斯定理如何用来更新我们的信念。在获取新证据之后，我们能够基于这些证据调整我们对事件的看法。这种思维模式在机器学习和数据科学中具有重要作用，尤其是在模型的选择和参数的调优方面。

在下一篇中，我们将深入探讨贝叶斯更新及先验、后验的概念，了解如何在动态环境中灵活地更新我们的知识。