PIL验证码图片预处理

概论

在用tesseract进行验证码识别之前，我们首先需要对验证码图片进行预处理，尽量去除噪声，而只保留有验证码信息的像素。本文主要介绍一些基本的验证码预处理方法。

通常验证码图像预处理可见下图（第二步骤）:

验证码噪声分析

通常验证码噪声主要有以下:

• 变色：
  对验证码字符像素进行变色，但一般而言为了可以辨认都是和图像底色有一定差别的。这就可以通过二值图像，把验证码字符和底色进行鲜明的区分。

  比如以下两种验证码，字体像素和背景差别很明显，通过PIL库二值化基本就能分理出字符像素:

  
  

  处理后:

  
  
  

• 干扰点
  干扰点基本上可以算是椒盐噪声，即离散的单独存在的噪点。这种噪声，一般噪点像素和周围像素差别较大，可以简单地用中值滤波处理（如果遇到高斯噪声的可以用高斯滤波）。
  另外也可以遍历像素，计算一个像素4领域或者8领域的像素是否跟图像底色近似（用一个阈值做判断），如果超过一定数量则判断该像素为噪声，将此像素设为背景色。

• 干扰线：
  干扰线依赖于绘制方式，分曲线和直线。但不管如何，其主要特点是像素是线性连接的，这就可以通过Flood Fill进行着色，并统计着色面积（一般都是验证码像素的着色面积最大），最后把那些着色面积小的噪声像素删除。

• 文字倾斜：
  再去除噪声之后，可以把倾斜的文字像素通过仿射变换变成正体字。或者干脆直接用斜体的字建立训练模型（如果验证的字体倾斜方向比较单一的话还是可行的）。

去噪实例

验证码获取&噪声分析

验证码地址:
http://scm.sf-express.com/isc-vmi/loginmgmt/imgcode?a=0.18090831750297091

该验证码主要是增加了不同颜色的干扰线，并且干扰线比较细短。因此考虑先用PIL库将其转换成二值图，之后通过遍历每个像素点，判断邻域像素来删除多余噪声。

PIL二值图处理

灰度图转换:

img = Image.open(loadpath+file).convert("L")

PIL二值图算法:

手动遍历像素，以一定阈值为界限，把图片变成二值图像。

def binarizing(img,threshold): #input: gray image
    pixdata = img.load()
    w, h = img.size
    for y in range(h):
        for x in range(w):
            if pixdata[x, y] < threshold:
                pixdata[x, y] = 0
            else:
                pixdata[x, y] = 255
    return img

结果:

可见二值化的图像并不能去除干扰线，这样的图像直接用tesseract做识别成功机会不会超过5%。因此需要把这些干扰线去除，这就需要用一定的算法来处理像素。

干扰线去噪算法

如图，对于以上直线行干扰线而言，从左到右的像素遍历会把干扰线的起点像素识别为噪声（3邻域像素都是背景色），然后继续遍历下去干扰线就清除了。当然对于较粗的2像素、3像素噪声，也是同样道理。

4邻域像素算法:

对于像素值>245的邻域像素，判别为属于背景色，如果一个像素上下左右4各像素值有超过2个像素属于背景色，那么该像素就是噪声。

def depoint(img):   #input: gray image
    pixdata = img.load()
    w,h = img.size
    for y in range(1,h-1):
        for x in range(1,w-1):
            count = 0
            if pixdata[x,y-1] > 245:
                count = count + 1
            if pixdata[x,y+1] > 245:
                count = count + 1
            if pixdata[x-1,y] > 245:
                count = count + 1
            if pixdata[x+1,y] > 245:
                count = count + 1
            if count > 2:
                pixdata[x,y] = 255
    return img

处理结果:

可见第二幅图像有一处黑线噪声未去除，这是因为我采用了由左向右，由上向下遍历像素法，而仔细观察该验证码像素还是有黑色边框的，因此通过去除边框或者改变遍历方向就能去除该噪声。

tesseract测试

用默认的tesseract进行20个样本的测试（没有自己训练数据）,限定参数 -psm 7表示识别单行字符，并限定字符集为数字和大写字母。
结果其中有15个样本识别正确，成功率大概75%
主要问题集中在tesseract默认识别容易把G识别成6，把Y识别成V，因此为了提高识别率自己训练数据还是必要的。