20 Gibbs采样：贝叶斯学习与统计推断

查看大图

贝叶斯学习的重点是把已有判断和新证据合在一起，并明确表达不确定性。阅读时可以按「Gibbs采样简介 -> 条件分布 -> Gibbs采样算法步骤 -> 应用实例」建立结构，再回到正文里的代码、案例或指标做验证。

查看大图

读完后，用一个真实小任务复查：输入是什么，处理环节在哪里，输出是否可验收；失败时先查「Gibbs采样简介」，再查「条件分布」。

在上一篇中，我们介绍了马尔可夫链蒙特卡洛（MCMC）方法的基础知识，包括其基本概念与应用场景。本篇教程将聚焦于一种特定的MCMC方法——即“Gibbs采样”。我们将详细探讨Gibbs采样的特点、算法步骤、应用实例以及代码实现。

1. Gibbs采样简介

Gibbs采样是一种特殊的MCMC方法，主要用于从多维概率分布中生成样本。与其他MCMC方法不同，Gibbs采样依赖于条件分布，使得在每一步中，可以通过从每一个变量的条件分布中采样来更新变量的状态。

查看大图

学习 Gibbs 采样时，先看联合分布、条件分布、变量更新顺序、采样链收敛、 burn-in 和样本自相关。

1.1 条件分布

在Gibbs采样中，我们假设要采样的变量是 $X_1, X_2, \ldots, X_k$，而我们知道这些变量的联合分布 $P(X_1, X_2, \ldots, X_k)$。Gibbs采样会轮流从每个变量的条件分布中采样，这些条件分布可以表示为：

$$P(X_i | X_{1:i-1}, X_{i+1:k})$$

其中，$X_{1:i-1}$ 和 $X_{i+1:k}$ 是除了 $X_i$ 之外的其他变量。

2. Gibbs采样算法步骤

Gibbs采样的过程可以分为以下几个步骤：

查看大图

读完《Gibbs采样：贝叶斯学习与统计推断》后，可以回头问三件事：它解决什么问题，哪一步最容易出错，自己能否拿一个小例子跑通。

1. 初始化所有变量的值，即选择一个初始值 $\mathbf{x}^{(0)} = (x_1^{(0)}, x_2^{(0)}, \ldots, x_k^{(0)})$。
2. 重复以下步骤 $N$ 次：
   • 对于每个变量 $X_i$，根据其他变量的当前值 $x_{j}^{(n)}$（$j \neq i$）从条件分布 $P(X_i | X_{1:i-1}, X_{i+1:k})$ 中抽样，得到新的值 $x_i^{(n+1)}$。
3. 返回所有采样得到的值。

3. 应用实例

为了更好地理解Gibbs采样，我们考虑一个简单的案例——从二维正态分布中采样。假设我们需要从联合分布 $P(X, Y)$ 中生成样本，其中 $X$ 和 $Y$ 具有以下条件分布：

• $P(X | Y = y) \sim \mathcal{N}(\mu_{X|Y=y}, \sigma_{X|Y=y}^2)$
• $P(Y | X = x) \sim \mathcal{N}(\mu_{Y|X=x}, \sigma_{Y|X=x}^2)$

这里，$\mu_{X|Y=y}$ 和 $\sigma_{X|Y=y}$ 的具体值依据我们设定的模型而定。

3.1 Python代码实现

以下是使用Python实现Gibbs采样的示例代码，假设我们已经设定了变量之间的条件分布：

import numpy as np
import matplotlib.pyplot as plt

# 条件分布函数
def conditional_x(y):
    return np.random.normal(2 * y, 1)  # X的条件分布

def conditional_y(x):
    return np.random.normal(0.5 * x, 1)  # Y的条件分布

# Gibbs采样函数
def gibbs_sampler(num_samples):
    samples = np.zeros((num_samples, 2))
    x, y = 0, 0  # 初始化
    for i in range(num_samples):
        x = conditional_x(y)
        y = conditional_y(x)
        samples[i] = [x, y]
    return samples

# 生成样本
num_samples = 10000
samples = gibbs_sampler(num_samples)

# 绘制样本结果
plt.scatter(samples[:, 0], samples[:, 1], alpha=0.5)
plt.title('Gibbs Sampling Results')
plt.xlabel('X')
plt.ylabel('Y')
plt.axis('equal')
plt.show()

4. Gibbs采样的优缺点

4.1 优点

• 相对简单：构建条件分布时通常比直接处理联合分布更简便。
• 适用性广泛：特别在高维空间中，Gibbs采样能够有效抽取样本。

4.2 缺点

• 收敛速度：在一些情况下，尤其是变量之间高度相关时，Gibbs采样的收敛速度可能较慢。
• 依赖条件分布：需了解变量的条件分布，这在某些模型中可能难以实现。

查看大图

读到这里，可以把《Gibbs采样：贝叶斯学习与统计推断》整理成一张复盘表：先说清主线，再拿一个小任务检查结果。

查看大图

读完《Gibbs采样：贝叶斯学习与统计推断》后，可以先挑一个小样例走完整流程，再判断哪些步骤已经能独立完成。

5. 结论

在本篇中，我们详细探讨了Gibbs采样的原理、算法步骤和代码实现。Gibbs采样在统计推断和贝叶斯学习中占有重要地位，为处理复杂分布提供了有效方法。下一篇中，我们将讨论 Metropolis-Hastings算法，这是另一种常用的MCMC方法，也同样具有其独特的优点和应用场景。

继续关注这个系列教程，深入学习贝叶斯学习和统计推断的更多内容！