8 自动求导之求导的基本概念

查看大图

自动求导让 PyTorch 能从 loss 反推出每个参数应该怎么调整。理解计算图，比死记 backward() 更重要。

官方教程：PyTorch autograd

查看大图

我会先用一个很小的公式手算梯度，再用 PyTorch 对比。手算一次，后面看训练循环会清楚很多。

在上一篇中，我们介绍了张量的基础知识，包括张量的索引与切片。在这一篇中，我们将重点讨论自动求导的基本概念，以及它在深度学习中的重要性。理解这些概念将为我们后续使用 torch.autograd 模块进行自动求导奠定基础。

1. 什么是求导？

在数学中，求导 是描述一个函数在某一点的变化率的工具。给定一个函数 $f(x)$，其导数 $f'(x)$ 表示当 $x$ 发生微小变化时，$f(x)$ 变化的速率。导数不仅用于描述变化，也用于优化问题，比如最小化损失函数。

查看大图

理解 PyTorch 自动求导时，先看张量是否记录梯度、计算图如何形成、损失如何调用 backward。

例如对于一个简单的线性函数：

$$f(x) = 2x + 1$$

我们可以直接求导得到：

$$f'(x) = 2$$

这告诉我们，不论 $x$ 取何值，$f(x)$ 的变化率始终是 2。

2. 张量的自动求导

在深度学习中，我们的目标是通过优化模型的参数来最小化损失函数。为此，我们需要计算损失函数对模型参数的导数。手动计算这些导数会非常繁琐，尤其是在复杂的神经网络中。这里，自动求导 的概念应运而生。

查看大图

读完《自动求导之求导的基本概念》后，可以回头问三件事：它解决什么问题，哪一步最容易出错，自己能否拿一个小例子跑通。

PyTorch 提供了强大的自动求导功能。当我们对 PyTorch 的 张量 执行某些操作并设置 requires_grad=True 时，PyTorch 将自动记录这些操作，以便后续使用。

2.1 梯度的定义

在深度学习中，我们通常需要计算 梯度，它是一个多变量函数的偏导数向量。在简单的单变量情况下，梯度就是导数。如果我们有一个函数 $f(x)$，它的梯度定义为：

$$\nabla f(x) = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \ldots, \frac{\partial f}{\partial x_n} \right)$$

2.2 计算图

在自动求导的实现中，PyTorch 会构建一个计算图，这个图记录了所有的操作。每个节点代表一个张量，而每条边代表张量之间的操作。通过这个计算图，我们可以有效地使用反向传播算法计算梯度。

3. 代码示例

让我们通过一个简单的例子来演示如何在 PyTorch 中使用自动求导。

import torch

# 定义张量并启用梯度计算
x = torch.tensor(2.0, requires_grad=True)

# 定义一个函数
y = x**3 + 5*x**2 + 10

# 执行反向传播
y.backward()

# 查看梯度
print(f"f(x) = {y.item()} at x = {x.item()}")
print(f"f'(x) = {x.grad.item()}")

在这个例子中，我们定义了一个函数 $y = x^3 + 5x^2 + 10$，并通过backward()方法计算了在 $x=2$ 时的导数。输出的结果将显示函数值和导数值。

查看大图

读到这里，可以把《自动求导之求导的基本概念》整理成一张复盘表：先说清主线，再拿一个小任务检查结果。

查看大图

读完《自动求导之求导的基本概念》后，可以先挑一个小样例走完整流程，再判断哪些步骤已经能独立完成。

4. 小结

在本篇教程中，我们介绍了求导的基本概念和自动求导在 PyTorch 中的实现方式。通过实例，我们看到如何通过 PyTorch 的张量和 requires_grad 属性来实现梯度计算。了解这些基础将帮助我们在下一篇中深入探讨如何使用 torch.autograd 实现更复杂的自动求导过程。

准备好迎接更复杂的内容了吗？接下来，我们将学习如何使用 torch.autograd 进行自动求导的具体实现。