前言

pybind11功能强大，将C++ 程序包装为python接口，对于不太熟悉C++的同学只需要调用python接口即可，方便实用。之前的一系列pybind11文章大多数是基础的用法，本人学习pybind11的最初动机是想将一个目标跟踪程序(C++代码)封装为python接口，这样每次运行算法时候就不用打开Visaul Studio这样大型IDE(加载慢，电脑容易卡)。C++程序封装为python接口有好几种方法：boost.python, ctype(调用C++ 动态链接库), SWIG, pybind11。 我只简单用过swig, ctype。 SWIG也挺不错的，不仅可以生成python接口，还可以生成Java等其他语言接口，文档详细。

---

目标跟踪算法

About KCF

KCF(Kernelized Correlation Filter)目标跟踪算法是基于机器学习的，速度快，效果也比较好(抗短时遮挡)。原版的KCF代码是采用opencv, C++实现的， opencv3.2.0(contrib)之后的版本已经将KCF集成到tracking模块,但是测试发现效果不如原版的C++代码。

下面将C++ KCF 采用pybind11包装为python接口。

---

开发测试环境

• windows10, 64bit
• Anaconda3, with python3.7
• opencv3.4.0, with opencv_contrib
• Visual Studio 2017
• pycharm

---

KCF-Python

工程概述

KCF C++程序是采用类进行封装的，所有功能在：KCFTracker类中。 因此，只需要将KCFTracker 类封装为python 接口就大功告成。

Visaul Stduio工程

image.png

python测试工程

image.png

python测试代码

import cv2
import numpy as np
import matplotlib.pyplot as plt
import demo12.kcf_demo as kcf
import time


cv2.useOptimized()
cv2.setUseOptimized(True)
cv2.setNumThreads(4)

capture = cv2.VideoCapture()
assert capture.open('D:\\ti_project\\TI_DSP_LAB\\Video-tools-exe\\video-01\\V90116-132715.mp4')
capture.set(cv2.CAP_PROP_FRAME_WIDTH, 640)
capture.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)

frame = np.zeros(shape=[int(capture.get(cv2.CAP_PROP_FRAME_HEIGHT)),
                        int(capture.get(cv2.CAP_PROP_FRAME_WIDTH)),
                        3], dtype=np.uint8)

for i in range(1):
    capture.read(frame)

rect = cv2.selectROI('Choose object', frame, False, False)

tracker = kcf.KCFTracker(True, True, True, True)
r = [rect[0] + rect[2], rect[1] + rect[3]]
tracker.trackerInit([rect[0], rect[1], rect[0] + rect[2], rect[1] + rect[3]], frame)

count = 0
while True:
    ret, frame = capture.read()
    if not ret:
        print('finish!')
        break

    t_start = time.time()
    rect = tracker.trackerUpdate(frame)
    t_stop = time.time()
    fps = int(1.0/(t_stop - t_start))
    print(rect)
    cv2.rectangle(frame, (rect[0], rect[1]), (rect[2], rect[3]), (0, 255, 255), 2)
    cv2.putText(frame, '#' + str(count + 1), (64, 64), 1, 1, (255, 0, 0))
    cv2.putText(frame, '{}fps'.format(fps), (64, 64+30), 1, 1, (255, 0, 0))
    count += 1
    cv2.imshow('kcf', frame)
    if cv2.waitKey(33) == 'q':
        break

---

demo演示

选取目标

image.png

跟踪过程

image.png image.png