17 视频处理之视频对象跟踪

查看大图

OpenCV 学习要把图像输入、处理步骤、检测结果和工程性能放在一起验证。阅读时可以按「对象跟踪的基本原理 -> 使用 OpenCV 实现对象跟踪 -> 环境准备 -> 案例代码」建立结构，再回到正文里的代码、案例或指标做验证。

查看大图

读完后，用一个真实小任务复查：输入是什么，处理环节在哪里，输出是否可验收；失败时先查「对象跟踪的基本原理」，再查「使用 OpenCV 实现对象跟踪」。

在前一篇中，我们讨论了如何读取与处理视频流。现在，我们将深入研究如何在视频中进行对象跟踪。对象跟踪是计算机视觉中的一个重要任务，广泛应用于监控、自动驾驶、虚拟现实等领域。在本篇中，我们将通过案例和代码，展示如何使用 OpenCV 实现对象跟踪。

对象跟踪的基本原理

对象跟踪的主要目标是从序列帧中持续检测特定的对象，并跟踪其位置。通常，跟踪算法可以分为两类：

查看大图

使用 OpenCV 做视频对象跟踪时，先看初始化框、跟踪器选择、帧间更新、丢失重检和输出轨迹。

1. 基于检测的跟踪：在每一帧中，使用对象检测算法检测对象，并将泰耐克位置进行匹配。
2. 基于模型的跟踪：在第一帧中建立模型，然后基于运动模型预测对象的位置。

为了实现对象跟踪，我们将重点使用 OpenCV中的cv2.Tracker类，这提供了几种不同的跟踪算法，比如 KCF、MIL、CSRT 和 MOSSE。

使用 OpenCV 实现对象跟踪

接下来，我们将实现一个简单的对象跟踪案例。假设我们想在视频中跟踪一个移动的球体。

查看大图

看《视频处理之视频对象跟踪》时，先把图中的问题、关键词、操作和验收标准对上，再读正文会更省力。读完后，最好能用自己的项目重新讲一遍。

环境准备

首先，请确保安装了 OpenCV 库。如果您还没有安装，可以使用以下命令进行安装：

pip install opencv-python opencv-contrib-python

案例代码

import cv2

# 读取视频流
cap = cv2.VideoCapture('video.mp4')

# 读取第一帧
ret, frame = cap.read()

# 选择跟踪的对象 (手动选择)
bbox = cv2.selectROI("Tracking", frame, fromCenter=False, showCrosshair=True)

# 创建 KCF 跟踪器
tracker = cv2.TrackerKCF_create()
tracker.init(frame, bbox)

while True:
    # 读取新帧
    ret, frame = cap.read()
    if not ret:
        break

    # 更新跟踪器
    success, bbox = tracker.update(frame)

    # 画出跟踪框
    if success:
        (x, y, w, h) = [int(v) for v in bbox]
        cv2.rectangle(frame, (x, y), (x + w, y + h), (255, 0, 0), 2)
    else:
        cv2.putText(frame, "Lost", (100, 100), cv2.FONT_HERSHEY_SIMPLEX, 0.75, (0, 0, 255), 2)

    # 显示结果
    cv2.imshow("Tracking", frame)

    # 按 'q' 退出
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# 清理资源
cap.release()
cv2.destroyAllWindows()

代码解释

1. 视频捕捉：使用cv2.VideoCapture读取视频。可以替换 'video.mp4' 为您自己的视频路径。
2. 选择 ROI（感兴趣区域）：使用cv2.selectROI手动选择我们想要跟踪的对象。系统会在视频上弹出一个窗口来让您拖动鼠标创建框。
3. 创建跟踪器：使用cv2.TrackerKCF_create()创建 KCF 跟踪器并初始化。
4. 更新和显示：在循环中持续读取新帧，更新跟踪器，并在跟踪到的对象周围画出矩形框。如果跟踪丢失，屏幕上会显示“Lost”。
5. 资源释放：按 'q' 键退出，释放视频资源和关闭所有 OpenCV 窗口。

查看大图

复习《视频处理之视频对象跟踪》时，建议把关键概念、操作步骤和可见结果放在同一页里回看。

查看大图

练习《视频处理之视频对象跟踪》时，建议把输入条件、处理动作和可见结果写在一起，方便下次复查。

总结

在视频处理之对象跟踪中，我们通过创建一个简单的应用程序，实现了使用 OpenCV 跟踪一个移动对象的功能。这是许多计算机视觉应用的基础。接下来的一篇中，我们将探索更为复杂的“视频分析与处理”，进一步提升我们的视觉处理能力。希望您从中受益，期待在下篇文章中与您再见！