10 特征描述子与匹配

查看大图

描述子把局部图像变成可以比较的向量。匹配不是越多越好，错误匹配会直接拖垮拼接、定位和识别。

查看大图

我会画出匹配线并做筛选。只看匹配数量容易误判，几条高质量匹配比一堆乱线更有价值。

在计算机视觉中，特征提取与描述已成为理解和分析图像的核心步骤。在上一篇文章中，我们讨论了传统的特征提取方法，如SIFT、SURF和ORB等。这些方法通过寻找图像中的关键点，然后计算其特征描述子，为后续的图像匹配、对象识别和场景理解奠定了基础。本文将深入探讨特征描述子与匹配的相关知识，并结合具体案例和代码示例，以帮助您更好地理解这一领域的关键技术。

特征描述子

特征描述子是用来表达关键点周围局部图像信息的向量，通常是一个高维度的数值数组。理想的特征描述子具有以下属性：

查看大图

做特征描述与匹配时，先看关键点、描述子、距离度量、最近邻匹配和误匹配剔除。

• 不变性：对旋转、缩放和光照变化有强健性。
• 区分性：能有效区分不同的对象或图像。
• 紧凑性：描述子的长度应尽可能短，以减少存储和计算开销。

常见的特征描述子

1. SIFT（尺度不变特征变换）：SIFT描述子是一个128维的向量，采用局部梯度信息描述关键点周围的图像特征。
2. SURF（加速稳健特征）：SURF描述子也是基于局部梯度，维度为64或128，计算速度更快。
3. ORB（定向 FAST 和旋转 BRIEF）：ORB描述子结合了FAST关键点检测和BRIEF特征描述，具有旋转不变性和更低的计算成本。

特征描述子的计算

以SIFT为例，计算特征描述子的步骤如下：

1. 检测关键点。
2. 在每个关键点周围提取局部图像块。
3. 对图像块进行方向梯度直方图（HOG）计算，形成128维的特征描述子。

以下是使用OpenCV库计算SIFT描述子的示例代码：

import cv2

# 读取图像
image = cv2.imread('image.jpg', cv2.IMREAD_GRAYSCALE)

# 初始化SIFT
sift = cv2.SIFT_create()

# 检测关键点和特征描述子
keypoints, descriptors = sift.detectAndCompute(image, None)

# 在图像上绘制关键点
output_image = cv2.drawKeypoints(image, keypoints, None)

# 显示结果
cv2.imshow('SIFT Keypoints', output_image)
cv2.waitKey(0)
cv2.destroyAllWindows()

特征匹配

特征匹配是将两幅图像中的描述子进行比较，以寻找相似的关键点。特征匹配的质量直接影响后续的图像识别和对象检测过程。

查看大图

学《特征描述子与匹配》时，可以先找一个自己能复现的小场景，再看相关概念和练习步骤，读完后用自己的例子复述一遍。

匹配算法

常用的特征匹配算法有：

1. 暴力匹配（Brute Force Matching）：遍历所有特征描述子，并计算它们之间的距离，以找到最相似的匹配。
2. FLANN（快速最近邻搜索算法）：针对大规模特征匹配的快速寻找算法，适用于高维数据。
3. KNN（K近邻）匹配：对于每个描述子，找到距离最近的K个描述子，并根据距离排序选择最佳匹配。

计算特征匹配

以下是使用OpenCV进行特征匹配的示例代码：

# 读取待匹配的图像
image2 = cv2.imread('image2.jpg', cv2.IMREAD_GRAYSCALE)

# 检测关键点和描述子
keypoints2, descriptors2 = sift.detectAndCompute(image2, None)

# 使用BFMatcher进行暴力匹配
bf = cv2.BFMatcher(cv2.NORM_L2, crossCheck=True)
matches = bf.match(descriptors, descriptors2)

# 按照匹配的距离排序
matches = sorted(matches, key=lambda x: x.distance)

# 绘制前十个匹配
matched_image = cv2.drawMatches(image, keypoints, image2, keypoints2, matches[:10], None)

# 显示结果
cv2.imshow('Feature Matches', matched_image)
cv2.waitKey(0)
cv2.destroyAllWindows()

优化匹配结果

在实际应用中，常用的方法是使用比率测试（Ratio Test）来进一步过滤匹配结果，确保匹配的准确性。比率测试通常会选用最近邻和次近邻之间的比率来判断匹配的可靠性。

# KNN匹配
knn_matches = bf.knnMatch(descriptors, descriptors2, k=2)

# 应用比率测试
good_matches = []
for m, n in knn_matches:
    if m.distance < 0.75 * n.distance:
        good_matches.append(m)

# 绘制优质匹配
matched_image = cv2.drawMatches(image, keypoints, image2, keypoints2, good_matches, None)
cv2.imshow('Good Matches', matched_image)
cv2.waitKey(0)
cv2.destroyAllWindows()

查看大图

学完《特征描述子与匹配》后，不妨换一个自己的场景试一次，重点观察输入、处理和输出是否能对应起来。

查看大图

如果想把《特征描述子与匹配》用到自己的任务里，可以先缩小场景，只验证一个最关键的判断点。

结论

在本节中，我们讨论了特征描述子与匹配的基本概念与技术，介绍了如何使用计算机视觉中的传统方法来提取图像特征，并进行匹配。这些方法在物体识别、图像拼接和场景重建中起着重要作用。

接下来，我们将进入“机器学习基础之监督学习与非监督学习”主题，探讨如何将机器学习应用于计算机视觉的各个方面，其中包括特征学习等新兴技术。通过了解这些基本原理，您将能更全面地掌握计算机视觉的核心技能。