图像处理实战-文档扫描

文档识别项目的主要工作是：识别出给定图片中的文档区域。.

完整代码：https://github.com/YvanYan/image_processing/tree/master/document

---

实现流程：
1.对输入图片进行边缘检测。
2.计算近似轮廓。
3.对文档区域进行透视变换。

1.对输入图片进行边缘检测。

image = cv2.imread('images/page.jpg')
image = resize(image, height=1000)
cv_show('image', image)

size_ratio = image.shape[0] / (TRANSFORM_HEIGHT * 1.0)
image_copy = image.copy()

image = resize(image, height=TRANSFORM_HEIGHT)
image_gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
image_gray = cv2.GaussianBlur(image_gray, (5, 5), 0)
image_edge = cv2.Canny(image_gray, 75, 200)
cv_show('image_edge', image_edge)

• 首先对图形进行尺寸变化，在进行尺寸变化后，需要保留尺寸变化的比例（size_ratio），因为后面进行透视变化的时候需要根据此比例进行像素位置的变化。
• 然后使用Canny算法进行轮廓检测。cv2.Canny()函数，第一个参数是输入图像，第二个和第三个参数是minVal和maxVal。

2.计算近似轮廓。

cnts = cv2.findContours(image_edge, cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[1]
cnts = sorted(cnts, key=cv2.contourArea, reverse=True)[:5]

for c in cnts:
    peri = cv2.arcLength(c, True)

    approx = cv2.approxPolyDP(c, 0.02 * peri, True)

    if len(approx) == 4:
        screenCnt = approx
        break

image_ = cv2.drawContours(image, [screenCnt], -1, (0, 255, 0), 2)
cv_show('image_', image)

• 首先通过findContours找到经过Canny边缘检测后的图片中的所有轮廓。如果这里直接对原图片进行findContours，那么会选取整张图片。
• 然后将轮廓根据图形面积进行排序，取面积最大的前五个。对前五个轮廓进行arcLength轮廓周长的计算。通过approxPolyDP对轮廓进行多边形逼近。approxPolyDP第一个参数表示轮廓点集；第二个参数表示从原始轮廓到近似轮廓的距离，越小越精确，越大形状越规矩；第三个参数若为True则为封闭图形。
• 将多边形逼近得到的图形进行判断，若为四个点，则表示为矩形。即需要得到的结果。

3.对文档区域进行透视变换。

def order_points(pts):
    # 一共4个坐标点
    rect = np.zeros((4, 2), dtype="float32")

    # 按顺序找到对应坐标0123分别是 左上，右上，右下，左下
    # 计算左上，右下
    s = pts.sum(axis=1)
    rect[0] = pts[np.argmin(s)]
    rect[2] = pts[np.argmax(s)]

    # 计算右上和左下
    diff = np.diff(pts, axis=1)
    rect[1] = pts[np.argmin(diff)]
    rect[3] = pts[np.argmax(diff)]

    return rect


def four_point_transform(image, pts):
    # 获取输入坐标点
    rect = order_points(pts)
    (tl, tr, br, bl) = rect

    # 计算输入的w和h值
    widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
    widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
    maxWidth = max(int(widthA), int(widthB))

    heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
    heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
    maxHeight = max(int(heightA), int(heightB))

    # 变换后对应坐标位置
    dst = np.array([
        [0, 0],
        [maxWidth - 1, 0],
        [maxWidth - 1, maxHeight - 1],
        [0, maxHeight - 1]], dtype="float32")

    # 计算变换矩阵
    M = cv2.getPerspectiveTransform(rect, dst)
    warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))

    # 返回变换后结果
    return warped

# 透视变换
warped = four_point_transform(image_copy, screenCnt.reshape(4, 2) * size_ratio)
cv_show('warped', warped)

• order_points来将得到的四个顶点信息，进行对应。通过(x,y)的和可以确定左上角和右下角的顶点坐标，通过(y-x)的值可以确定右上角的坐标。
• four_point_transform来进行透视变换。首先计算宽度和高度，然后构建变换矩阵，最后将输入图片根据变换矩阵进行变换。 four_point_transform的参数信息：第一个参数为输入的图片；第二个参数为得到的最大矩形的顶点信息，这里就用到了前面保存下来的size_ratio，因为图片进行了resize操作，这里需要再根据size_ratio将像素点resize回去。

这样就得到了图片中的文档区域。

结果

image.png