美文网首页python热爱者码农的世界
验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

作者: Python树苗 | 来源:发表于2018-05-31 14:44 被阅读0次

Adrian没有访问生成验证码图片的应用的源代码的权限。为了破解这个系统,他不得不下载成百上千个示例图像并手动解答它们,用以训练他的深度学习系统。

但是如果我们想打破一个开放源代码的验证码系统,将会怎么样?

我去http://wordpress.org插件注册表搜索“验证码”。最靠前的结果是一个叫“真正简单的验证码”的插件,有超过100万个活跃安装:

好的,所以验证码图像似乎是四个字母。让我们在PHP源代码中验证这一点:

是的,它会产生一个四字母的验证码,并采用随机组合的四种不同的字体。我们可以看到,它从不在代码中使用“O”或“I”,以避免用户混淆。这给了我们总共32个可能需要识别的字母和数字。没问题!

TensorFlow

TensorFlow是谷歌的机器学习库。我们会在Keras中写代码,但Keras并没有真正实现神经网络的逻辑本身,它其实是在后台调用谷歌的TensorFlow进行计算。

好,现在让我们回到挑战!

创造我们的数据集

训练任何机器学习系统,我们都需要训练数据集。破解一个验证码系统,我们则需要训练数据看起来像这样:

由于我们有这个WordPress的验证码插件的源代码,我们可以对它做一些更改,让它保存出10000张验证码图像以及每个图像的正确答案。

花了几分钟时间,在适当地修改源代码并添加一个简单的for后,我得到了一个包含训练数据的文件夹 —— 10000个PNG文件,每个文件都以正确答案作为文件名:

这是唯一我不会给你示例代码的部分。我们这样做是为了教育,我不想让你真的去黑WordPress网站。不过,我会给你我最后生成的这10000张图像,以便你可以重复我的结果。

到目前为止时间过去:5分钟。

简化问题

现在我们有了训练数据,我们可以直接用它来训练神经网络:

有足够的训练数据,这种粗暴的方法甚至也行得通 - 但我们可以使问题更容易解决。问题越简单,训练数据越少,计算资源消耗就越少。毕竟我们只有15分钟!

幸运的是,验证码图像总是由四个字母组成。如果我们能用某种方式把图像分割开来,这样每一个字母都是一个独立的图像,那么我们只需要训练神经网络一次识别一个字母:

我没有时间浏览10000个训练图像,并在Photoshop中手动将它们分割成单独的图像。这将需要几天,而我只剩下10分钟了。

而且我们不能将图像分成四个相同大小的块,因为验证码会将这些字母随机放置在不同的水平位置:

每个图像中的字母随机放置,使分割图像更难一些。

幸运的是,我们仍然可以自动执行此操作。在图像处理中,我们经常需要检测具有相同颜色的像素团。这些连续像素团周围的边界被称为轮廓。OpenCV有一个内置的findContours()函数,可以用来检测这些连续的区域。

那么我们将从一个原始的验证码图像开始:

然后,我们将图像转换为纯黑白(这称为阈值设定),这样就很容易找到连续的区域:

接下来,我们将使用OpenCV的findContours()函数来检测图像中各个包含相同颜色像素的连续团:

那么只需将每个区域保存为一个单独的图像文件即可。而且由于我们知道每个图像应该包含从左到右的四个字母,所以我们可以使用这些知识来标记字母。只要我们按顺序保存它们,我们能够用适当的字母名称保存每个字母图像。

但是等等 —— 我看到一个问题! 有时候验证码有这样的重叠字母:

这意味着我们最终将提取将两个字母拼凑在一起的区域:

如果我们不处理这个问题,我们最终会创建糟糕的训练数据。我们需要解决这个问题,以免我们不小心让机器把这两个相连的字母识别为一个字母。

我们将把任何宽度比高度还长的区域对半分开,并把它当作两个字母。这是很粗暴,但这么处理对识别这些验证码依然行得通。

现在我们有了一种提取单个字母的方法,让我们在所有的CAPTCHA图像上运行它。目标是收集每个字母的不同变化。我们可以将每个字母保存在自己的文件夹中。

下面是我提取所有字母后,我的“W”文件夹的样子:

从我们的10000个验证码图像中提取的一些“W”字母。我一共得到了1147个不同的“W”图像。到目前为止时间过去:10分钟。

现在,我们可以开始训练它了!

用训练数据集训练10次后,我们达到了近100%的准确度。现在,只要我们想,我们应该能够自动绕过这个验证码了!我们做到了!

到目前为止时间过去:15分钟。(~!)

使用训练的模型破解验证码

现在,我们有一个训练有素的神经网络,用它来破解真正的验证码非常简单:

1.从使用该WordPress插件的网站抓取真实的验证码图像。

2.使用我们用来创建训练数据集的相同方法,将验证码图像分解为四个单独的字母图像。

3.要求我们的神经网络对每个字母图像做一个单独的预测。

4.使用四个预测字母作为验证码的答案。

5.愉快的玩耍吧

以下是我们的模型如何解码真正的验证码

或者从命令行

试试看吧!

如果你想亲自尝试一下,你可以在这里获取代码。它包括10000个示例图像和本文中每个步骤的所有代码。查看里面的README.md文件,了解如何运行它。

但是,如果你想了解每一行代码究竟做了什么,我强烈建议你也弄一本《Python计算机视觉深度学习》。它有更多的细节,并有大量的详细的例子。这是迄今为止我所见过的唯一的一本,既涵盖了工作原理又涵盖了在现实世界中如何解决难题的书。去看看吧!

谢谢阅读,欢迎关注我的博客或者公众号:https://home.cnblogs.com/u/Python1234/ Python学习交流

欢迎加入我的千人交流学习答疑群:125240963

相关文章

网友评论

    本文标题:验证码是爬虫非常头疼的问题!今天通过十五分钟就教你搞定验证码

    本文链接:https://www.haomeiwen.com/subject/qrpqsftx.html