666，他利用Python这个两个库，把验证码都骗过去了，厉害！
很多网站登录都需要输入验证码，如果要实现自动登录就不可避免的要识别验证码。本文以一个真实网站的验证码为例，实现了基于一下KNN的验证码识别。
准备工作
这里我们使用opencv做图像处理，所以需要安装下面两个库
pip3 install opencv-pythonpip3 install numpy
识别原理
我们采取一种有监督式学习的方法来识别验证码，包含以下几个步骤
- 图片处理 - 对图片进行降噪、二值化处理
- 切割图片 - 将图片切割成单个字符并保存
- 人工标注 - 对切割的字符图片进行人工标注，作为训练集
- 训练数据 - 用KNN算法训练数据
- 检测结果 - 用上一步的训练结果识别新的验证码
下面我们来逐一介绍一下每一步的过程，并给出具体的代码实现。
图片处理
先来看一下我们要识别的验证码是长什么样的
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
可以看到，字符做了一些扭曲变换。仔细观察，还可以发现图片中间的部分添加了一些颗粒化的噪声。
我们先读入图片，并将图片转成灰度图，代码如下
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
经过上面的处理，我们的彩色图片变成了下面这样
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
将图片做二值化处理，代码如下
ret, im_inv = cv2.threshold(im_gray,127,255,cv2.THRESH_BINARY_INV)
127是我们设定的阈值，像素值大于127被置成了0，小于127的被置成了255。处理后的图片变成了这样
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
接下来，我们应用高斯模糊对图片进行降噪。高斯模糊的本质是用高斯核和图像做卷积，代码如下
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
降噪后的图片如下
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
可以看到一些颗粒化的噪声被平滑掉了。
降噪后，我们对图片再做一轮二值化处理
ret, im_res = cv2.threshold(im_blur,127,255,cv2.THRESH_BINARY)
现在图片变成了这样
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
好了，接下来，我们要开始切割图片了。
切割图片
这一步是所有步骤里最复杂的一步。我们的目标是把最开始的图片切割成单个字符，并把每个字符保存成如下的灰度图
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
首先我们用opencv的findContours来提取轮廓
im2, contours, hierarchy = cv2.findContours(im_res, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
我们把提取的轮廓用矩形框起来，画出来是这样的
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
可以看到，每个字符都被检测出来了。
但这只是理想情况，很多时候，相邻字符有粘连的会被识别成同一个字符，比如像下面的情况
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
要处理这种情况，我们就要对上面的图片做进一步的分割。字符粘连会有下面几种情况，我们逐一来看下该怎么处理。
4个字符被识别成3个字符
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
这种情况，对粘连的字符轮廓，从中间进行分割，代码如下
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
分割后，图片变成了这样
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
4个字符被识别成2个字符
4个字符被识别成2个字符有下面两种情况
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
对第一种情况，对于左右两个轮廓，从中间分割即可。对第二种情况，将包含了3个字符的轮廓在水平方向上三等分。具体代码如下
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
分割后的图片如下
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
4个字符被识别成1个字符
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
这种情况对轮廓在水平方向上做4等分即可，代码如下
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
对图片分割完成后，我们将分割后的单个字符的图片存成不同的图片文件，以便下一步做人工标注。存取字符图片的代码如下
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
字符图片保存在名为char的目录下面，这个目录里的文件大致是长这样的（文件名用时间戳命名，确保不会重名）
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
接下来，我们开始标注数据。
人工标注
这一步是所有步骤里最耗费体力的一步了。为节省时间，我们在程序里依次打开char目录中的每张图片，键盘输入字符名，程序读取键盘输入并将字符名保存在文件名里。代码如下
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
这里一共标注了大概800张字符图片，标注的结果存在名为label的目录下，目录下的文件是这样的（文件名由原文件名+标注名组成）
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
接下来，我们开始训练数据。
训练数据
首先，我们从label目录中加载已标注的数据
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
接下来，训练我们的模型
model = cv2.ml.KNearest_create()model.train(samples, cv2.ml.ROW_SAMPLE, label_ids)
训练完，我们用这个模型来识别一下新的验证码。
检测结果
下面是我们要识别的验证码
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
对于每一个要识别的验证码，我们都需要对图片做降噪、二值化、分割的处理（代码和上面的一样，这里不再重复）。假设处理后的图片存在变量im_res中，分割后的字符的轮廓信息存在变量boxes中，识别验证码的代码如下
666，他利用Python这个两个库，把验证码都骗过去了，厉害！
运行上面的代码，可以看到程序输出
yy4e
图片中的验证码被成功地识别出来。
我们测试了下识别的准确率，取100张验证码图片（存在test目录下）进行识别，识别的准确率约为82%。看到有人说用神经网络识别验证码，准确率可以达到90%以上，下次有机会可以尝试一下。
网友评论