18 内积与正交性之内积的定义与性质

查看大图

内积把两个向量的关系压成一个数。它能同时连接长度、夹角和相似度，是机器学习里非常常用的工具。

查看大图

我会区分内积大是因为方向接近，还是因为向量本身很长。必要时先做归一化。

在深入讨论内积与正交性之前，回顾一下上一篇关于特征值与特征向量的内容，我们了解到了特征分解的重要性。而在数据分析、机器学习等领域，线性代数的一个基本工具是“内积”。内积不仅能够帮助我们理解数据的几何意义，还能在特征选择、降维等方面提供重要的信息。本篇将集中讨论内积的定义及其性质。

内积的定义

内积是一个将两个向量映射到一个标量的运算。在实数向量空间中，内积通常定义为：

查看大图

理解内积与正交性时，先看向量维度、内积计算、长度关系、夹角含义和正交基在模型中的作用。

$$\langle \mathbf{u}, \mathbf{v} \rangle = \sum_{i=1}^{n} u_i v_i$$

其中，$\mathbf{u} = (u_1, u_2, \ldots, u_n)$ 和 $\mathbf{v} = (v_1, v_2, \ldots, v_n)$ 是 $\mathbb{R}^n$ 中的向量。

在复数向量空间中，内积的定义稍有不同：

$$\langle \mathbf{u}, \mathbf{v} \rangle = \sum_{i=1}^{n} u_i \overline{v_i}$$

其中，$\overline{v_i}$ 表示 $v_i$ 的共轭复数。

内积不仅是一个计算出一个标量的工具，更可以帮助我们理解向量之间的关系。

内积的性质

内积具备以下几个重要性质：

查看大图

《内积与正交性之内积的定义与性质》可以按“场景、概念、动作、结果”来读。先把这四件事对齐，再回到正文里的参数、代码或流程。

1. 线性：对第一个参数线性，对第二个参数共轭线性：

   $$\langle a\mathbf{u} + b\mathbf{v}, \mathbf{w} \rangle = a\langle \mathbf{u}, \mathbf{w} \rangle + b\langle \mathbf{v}, \mathbf{w} \rangle$$

2. 对称性（或共轭对称性）：在实数空间中：

   $$\langle \mathbf{u}, \mathbf{v} \rangle = \langle \mathbf{v}, \mathbf{u} \rangle$$

   在复数空间中：

   $$\langle \mathbf{u}, \mathbf{v} \rangle = \overline{\langle \mathbf{v}, \mathbf{u} \rangle}$$

3. 正定性：

   $$\langle \mathbf{u}, \mathbf{u} \rangle \geq 0, \quad \text{当且仅当 } \mathbf{u} = \mathbf{0} \text{ 时等号成立}.$$

这些性质让我们能够通过内积来判断两个向量的夹角、长度等几何特性。

案例分析：计算内积

假设有两个向量：

$$\mathbf{a} = (1, 2, 3), \quad \mathbf{b} = (4, -5, 6)$$

我们可以计算它们的内积：

$$\langle \mathbf{a}, \mathbf{b} \rangle = 1 \cdot 4 + 2 \cdot (-5) + 3 \cdot 6 = 4 - 10 + 18 = 12$$

从这个结果可以看出，内积不仅提供了两个向量之间的关系，而且可以表达它们的相对方向和大小。

Python 代码示例

我们可以使用 Python 和 NumPy 库来计算内积：

import numpy as np

# 定义向量
a = np.array([1, 2, 3])
b = np.array([4, -5, 6])

# 计算内积
inner_product = np.dot(a, b)
print(f"内积: {inner_product}")

运行上述代码，我们会得到输出：内积: 12，与我们手动计算的结果相同，这表明我们的理解是正确的。

查看大图

学完《内积与正交性之内积的定义与性质》后，不妨换一个自己的场景试一次，重点观察输入、处理和输出是否能对应起来。

查看大图

如果想把《内积与正交性之内积的定义与性质》用到自己的任务里，可以先缩小场景，只验证一个最关键的判断点。

小结

内积作为线性代数中的一个核心概念，不仅具有丰富的数学性质，还在数据科学和机器学习中发挥着重要作用。在本篇中，我们探讨了内积的定义及其性质，接下来会深入讨论正交向量与正交基，进一步理解内积在高维空间中的应用。这些基础概念为后续的学习打下了坚实的基础。