OpenCV-Python教程:44.光流

光流是物体或者摄像头的运动导致的两个连续帧之间的图像对象的视觉运动的模式。它是一个向量场，每个向量是一个位移矢量，显示了从第一帧到第二帧的点的移动。

它显示了一个球在5个连续帧里的移动。箭头显示了它的位移矢量。光流在很多领域有应用：

·从移动构建

·视频压缩

·视频稳定

光流在很多假设下有效：

1.物体像素强度在连续帧之间不变化

1.邻居像素有相似运动

考虑第一帧里的一个像素I(x,y,t)（检查新的维度，时间，）。它在dt时间后的下一帧移动了(dx, dy)。所以因为那些像素都一样，强度也不变化。我可以认为，

然后对右边做泰勒级数近似。除以dt得到下面的等式：

其中：

上面的等式被叫做光流等式，我们可以找到fx和fy，他们是图像梯度。类似的ft 是沿时间的梯度。但是(u, v)是未知的。我们无法解出这个等式。所以有一些方法来提供解决这个问题，其中一个是Lucas-Kanade

Lucas-Kanade 方法

我们看到了假设，就是所有邻居像素都有类似的运动，Lucas-Kanade 方法咏鹅一个3x3的块为在点周围。所以所有的9个点右相同的运动。我们可以找到这9个点的(fx, fy, ft)。所以现在我们的问题变成解决两个未知量的9个等式。更好的解决方案是最小二乘拟合法。下面是最后的解决方案，两个等式-两个未知量。

用Harris角点检测来检查法逆矩阵的相似性。它表示角点是用来跟踪的更好的点。

所以从用户角度来看，想法很简单，我们给出一些点来跟踪，我们获得这些点的光流向量。但是还是有问题，知道现在，我们都是处理的小运动。所以有大的运动的时候会失败。再次我们用金字塔。当我们用金字塔时，小的运动被移除而大的运动变成小的运动。所以使用Lucas-Kanade，我们通过缩放得到光流。

OpenCV里的Lucas-Kanade光流

OpenCV通过函数cv2.calcOpticalFlowPyrLK()提供了所有这些。这里，我们创建一个简单的应用来跟踪视频里的一些点。我们用cv2.goodFeaturesToTrack()来决定点。先取第一帧，检测一些Shi-Tomasi角点，然后我们用Lucas-Kanade光流法迭代跟踪那些点。对于函数cv2.calcOpticalFlowPyrLK()我们传前一帧，前面的那些点和下一帧。它会返回下一帧的点和一些状态值，如果下一次的点被找到了这些值就为1，如果没找到就是0.我们在下一步把这些点再作为上一次的点传进去继续迭代。看下面的代码：

import numpy as np
import cv2

cap = cv2.VideoCapture('slow.flv')

# params for ShiTomasi corner detection
feature_params = dict( maxCorners = 100,
            qualityLevel = 0.3,
            minDistance = 7,
            blockSize = 7 )

# Parameters for lucas kanade optical flow
lk_params = dict( winSize  = (15,15),
            maxLevel = 2,
            criteria = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))

# Create some random colors
color = np.random.randint(0,255,(100,3))

# Take first frame and find corners in it
ret, old_frame = cap.read()
old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)
p0 = cv2.goodFeaturesToTrack(old_gray, mask = None, **feature_params)

# Create a mask image for drawing purposes
mask = np.zeros_like(old_frame)

while(1):
    ret,frame = cap.read()
    frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    # calculate optical flow
    p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)

    # Select good points
    good_new = p1[st==1]
    good_old = p0[st==1]

    # draw the tracks
    for i,(new,old) in enumerate(zip(good_new,good_old)):
        a,b = new.ravel()
        c,d = old.ravel()
        mask = cv2.line(mask, (a,b),(c,d), color[i].tolist(), 2)
        frame = cv2.circle(frame,(a,b),5,color[i].tolist(),-1)

    img = cv2.add(frame,mask)
   
    cv2.imshow('frame',img)
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break

    # Now update the previous frame and previous points
    old_gray = frame_gray.copy()
    p0 = good_new.reshape(-1,1,2)

cv2.destroyAllWindows()
cap.release()

这个代码不检查下一次的关键点是否正确，所以即使有些特征点在图像里消失了，光流仍然有可能找到离它近的点作为下一次的点。所以实际上对于一个健壮的跟踪，角点应该在特定的间隔内被检测。

OpenCV里的密集光流

Lucas-Kanade方法计算稀疏特征集的光流（在我们的例子里，角点检测使用Shi-Tomasi算法）。OpenCV提供了另一个算法来找密集光流。它计算帧里的所有点的光流。它基于Gunner Farneback的算法。

下面的例子展示了如何用上面的算法找到密集光流。我们拿光流向量(u, v)的2通道数组。我们找到它们的等级和方向。我们给结果上色，方向对应图像的色调值。

import cv2
import numpy as np
cap = cv2.VideoCapture("vtest.avi")

ret, frame1 = cap.read()
prvs = cv2.cvtColor(frame1,cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(frame1)
hsv[...,1] = 255

while(1):
    ret, frame2 = cap.read()
    next = cv2.cvtColor(frame2,cv2.COLOR_BGR2GRAY)
    flow = cv2.calcOpticalFlowFarneback(prvs,next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
    mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
    hsv[...,0] = ang*180/np.pi/2
    hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX)
    rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)

    cv2.imshow('frame2',rgb)
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break
    elif k == ord('s'):
        cv2.imwrite('opticalfb.png',frame2)
        cv2.imwrite('opticalhsv.png',rgb)
    prvs = next

cap.release()
cv2.destroyAllWindows()

结果：

END