python 3+opencv3.4（六）--特征匹配

1. ORB特征匹配步骤：
   1. 读取两幅图片，直接读取灰度图
   2. 创建ORB对象orb=cv2.ORB_creat()
   3. 分别检测两幅图的特征点和描述符kp1,des1=orb.detectAndCompute(gray1, None)
   4. 暴力匹配BFMatcher实现匹配,创建BFMatcher对象，并计算des1与des2之间匹配信息，最后排序。
      bf=cv2.BFMatcher(cv2.NORM_HAMMING,crossCheck=True)
matches=bf.match(des1,des2)
matches=sorted(matches,key=lambda x:x.distance)
   5. 把建立的匹配点画到图像中img3=cv2.drawMatches(gray1,kp1,gray2,kp2,matches[:23],gray2,flags=2)
   6. 显示图像
2. 代码与显示结果:

import cv2

#img1=cv2.imread('../data/manowar_logo.png')
#img2=cv2.imread('../data/manowar_single.jpg')
img1=cv2.imread('../data/1.jpg')
img2=cv2.imread('../data/3.jpg')
gray1=cv2.cvtColor(img1,cv2.COLOR_BGR2GRAY)
gray2=cv2.cvtColor(img2,cv2.COLOR_BGR2GRAY)
orb=cv2.ORB_create()
kp1,des1=orb.detectAndCompute(gray1,None)
kp2,des2=orb.detectAndCompute(gray2,None)
bf=cv2.BFMatcher(cv2.NORM_HAMMING,crossCheck=True)
matches=bf.match(des1,des2)
matches=sorted(matches,key=lambda x:x.distance)
img3=cv2.drawMatches(gray1,kp1,gray2,kp2,matches[:23],gray2,flags=2)
cv2.namedWindow('img3',cv2.WINDOW_NORMAL)
cv2.resizeWindow('img3',400,600)
cv2.imshow('img3',img3)
cv2.waitKey(0)
cv2.destroyAllWindows()

3. 部分代码解释：
   • cv2.BFMatcher创建一个 BF-Matcher 对象。它有两个可选参数。第一个是 normType。它是用来指定要使用的距离测试类型。默认值为 cv2.Norm_L2。这很适合 SIFT 和 SURF 等(c2.NORM_L1 也可以)。对于使用二进制描述符的 ORB,BRIEF,BRISK算法等,要使用 cv2.NORM_HAMMING,这样就会返回两个测试对象之间的汉明距离。如果 ORB 算法的参数设置为 V T A_K==3 或 4,normType就应该设置成 cv2.NORM_HAMMING2。
     第二个参数是布尔变量 crossCheck,默认值为 False。如果设置为True,匹配条件就会更加严格,只有到 A 中的第 i 个特征点与 B 中的第 j 个特征点距离最近,并且 B 中的第 j 个特征点到 A 中的第 i 个特征点也是最近(A 中没有其他点到 j 的距离更近)时才会返回最佳匹配(i,j)。也就是这两个特征点要互相匹配才行。这样就能提供统一的结果,这可以用来替代 D.Lowe在 SIFT 文章中提出的比值测试方法。
   • BFMatcher 对象具有两个方法, BFMatcher.match() 和 BFMatcher.knnMatch()。第一个方法会返回最佳匹配。第二个方法为每个关键点返回 k 个最佳匹配(降序排列之后取前 k 个),其中 k 是由用户设定的。如果除了匹配之外还要做其他事情的话可能会用上(比如进行比值测试)。
   • 就 像 使 用 cv2.drawKeypoints() 绘 制 关 键 点 一 样, 我 们 可 以 使 用cv2.drawMatches() 来绘制匹配的点。它会将这两幅图像先水平排列,然后在最佳匹配的点之间绘制直线(从原图像到目标图像)。如果前面使用的是 BF-Matcher.knnMatch(),现在我们可以使用函数 cv2.drawMatchsKnn为每个关键点和它的 k 个最佳匹配点绘制匹配线。如果 k 等于 2,就会为每个关键点绘制两条最佳匹配直线。如果我们要选择性绘制话就要给函数传入一个掩模。

以上用到了ORB方法也可以使用SIFT或者SURF代替。都试了一下，结果ORB最快，且结果比较好。

在进行特征点匹配时，也可以使用knnMatch，代码修改如下：

bf=cv2.BFMatcher(cv2.NORM_HAMMING)
matches = bf.knnMatch(des1, des2, k=2)  
img3=cv2.drawMatchesKnn(img1,kp1,img2,kp2,matches,img2,flags=2)

4. FLANN匹配
   1. 导入图片，转化为灰度图
   2. 创建SIFT对象或者SURF对象，计算特征点和描述符。
   3. FLANN匹配参数：两个，indexParams和searchParams，indexParams可选择LinearIndex KTreeIndex KMeansIndex CompositeIndex和AutotuneIndex，KTreeIndex配置很简单，指定核密度树数量即可，一般取5，searchParams有一个字符：checks，索引数便利次数，一般取50。指定好参数后，创建flann对象，使用knnMatch匹配，k=2,舍弃距离大于0.7的值。
5. 具体代码如下：

import cv2
import numpy as np
img1=cv2.imread('../data/1.jpg')
img2=cv2.imread('../data/3.jpg')

gray1=cv2.cvtColor(img1,cv2.COLOR_BGR2GRAY)
gray2=cv2.cvtColor(img2,cv2.COLOR_BGR2GRAY)

sift=cv2.xfeatures2d.SIFT_create()
kp1, des1=sift.detectAndCompute(gray1,None)
kp2, des2=sift.detectAndCompute(gray2,None)

#FLANN匹配参数
FLANN_INDEX_KDTREE=0
indexParams=dict(algorithm=FLANN_INDEX_KDTREE,trees=5)
searchParams=dict(checks=50)
flann=cv2.FlannBasedMatcher(indexParams,searchParams)
matches=flann.knnMatch(des1,des2,k=2)
matchesMask=[[0,0] for i in range(len(matches))]
for i,(m,n) in enumerate(matches):
    if m.distance<0.7*n.distance:
        matchesMask[i]=[1,0]
        
drawParams=dict(matchColor=(0,255,0),
                singlePointColor=(255,0,0),
                matchesMask=matchesMask,
                flags=0)
resultImage=cv2.drawMatchesKnn(gray1,kp1,gray2,kp2,matches,None,**drawParams)
cv2.namedWindow('Flann',cv2.WINDOW_NORMAL)
cv2.resizeWindow('Flann',400,600)
cv2.imshow('Flann',resultImage)
cv2.waitKey(0)
cv2.destroyAllWindows()

结果如下：

FLANN

不过运行的速度很慢。可以换成ORB算法，使用FLANN匹配，代码修改如下：

FLANN_INDEX_LSH=6
indexParams=dict(algorithm=FLANN_INDEX_LSH, 
                 table_number = 6, #12
                 key_size = 12,    #20
                 multi_probe_level = 1)#2
searchParams=dict(checks=100)

结果如下：

ORB FLANN