美文网首页
爬虫程序又莫名崩溃了?教你这一招轻松解决!

爬虫程序又莫名崩溃了?教你这一招轻松解决!

作者: 编程小蝉 | 来源:发表于2020-05-14 10:21 被阅读0次

    ​每当我们写爬虫的时候,短暂的代码运行与抓取如果期间出现异常情况,我们可以及时的发现。可实际的爬虫开发项目往往运行需要耗时,对于增量式爬虫有时也是需要放到服务器上面跑的。这样我们就不能及时的观察到异常情况,那有没有比较容易实现的技术来解决这样的问题呢?(经验总结在最后)

    答案是肯定的,有!那就是使用邮件通知,那具体如何操作呢?

    接下来我来模拟写一下需求:

    当爬虫出现故障时,第一时间通知程序员小哥哥来维护,采用邮件通知的方式。

    那我们首先来介绍一下 Python 当中支持 Smtp 协议模块叫什么名字,有以下两个模块以及他们对应的作用:

    • email负责构造邮件

    • smtplib负责发送邮件

    我们这里使用大家常用的 QQ 邮箱作为演示,小伙伴也可以使用其他邮箱可自行选择。在使用 QQ 邮箱时需要做以下配置。

    1. QQ 邮箱配置

    这里我们使用 SMTP 发信功能所以,您需要先开启 SMTP 发信功能才能通过 SMTP 接口发送邮件。

    SMTP 协议是一个简单的邮件传输协议,利用它您可以将邮件发送给别人。此协议使用命令和应答在客户端与服务器之间传输报文。即客户端发出一个命令,服务器返回一个应答。发送方与接收方进行一问一答的交互,由发送方控制这个对话。

    我先登陆到我们的 QQ 邮箱,界面如下:

    image

    选择设置,进入到如下界面:

    image

    找到:POP3/IMAP/SMTP/Exchange/CardDAV/CalDAV服务

    image

    QQ 邮箱 SMTP 服务器地址:smtp.qq.comssl端口:465

    需要其他的服务器地址以及端口的小伙伴可以点击此链接:常用邮箱 SMTP 服务器地址大全

    2. Python 发送邮件

    以下实例你需要修改:发件人邮箱(你的QQ邮箱),密码,收件人邮箱(可发给自己)

    import smtplib
    

    运行代码效果如下:

    image

    3. 实战

    爬虫脚本是基于网站的结构去写的,但是随着互联网的发展,很多公司的页面结构会发生变化,发生的变化就会导致我们写的爬虫失效,最主要的失效方式是 xpath 的失效。随着我们写的爬虫越来越多,越就越来越难以发现这些失效的脚本,导致数据更新失败,不及时,或者不满足抓取的质量和数量要求。这就需要对爬虫的脚本进行监控。

    监控的目的是让数据及时的更新,脚本及时的发现 bug 以及解决 bug。提高我们的工作效率。更好的保证线上数据产品的优质性。

    1. 目标网站:糗事百科>>> https://www.qiushibaike.com/text/
    • 爬虫代码如下:
    import requests
    

    3.1 添加邮件通知

    把邮件通知单独创建一个 .py 文件,代码如下:

    import smtplib
    

    上面的代码修改完毕之后,我们需要在爬虫的函数里面调用该函数,所以我们先导入函数:

    from email_f import email_func
    

    这里我们简单的进行调用函数:fromemail_fimportemail_func 更复杂的小伙伴可以自行添加哦。

    这里我们为了照顾绝大多数同学,就人工指定爬虫异常时放回特定信息。当然小伙伴还可以直接返回报错信息。

    我们编写在请求函数中:

    def requests_func(self):
    

    我们先正常运行代码查看效果:

    image

    至此,我们的邮件通知功能已经成功应用,这里有一点要跟小伙伴说的就是:为什么要把邮件单独写成一个 .py 文件,因为我们实际工作当中开发需要做到,模块化开发,上面所用到的是最基本的模块化。

    3.2 应用场景:

    3.2.1 正常更新的

    例如糗事百科,每天都要爬取一遍插入数据库的时候,需要增加一个字段更新插入时间 refresh_time 如果爬虫 正常,这样就可以保证,每天的 refresh_time 都是最新的。

    3.2.2 不正常更新的

    如何监控那些不正常更新的渠道(例如:链家租房),你可以写 sql 语句查询每个渠道的更新时间。如果是最新的更新时间则说明是正常;如果不是判断多久没有更新,说爬虫数据异常。这时需要给指定的负责人发邮件,让他修改代码,使得爬虫正常运行。

    3.2.3 爬虫中邮件通知一般加在哪呢?

    看到这里,表示你已经成功使用并监控你的爬虫,不过对于新手可能会有疑问:我们一般把异常通知加载呢?这里列出几点来:

    1. 这里小伙伴们在编写代码中要用好 try...except ,这里要注意:except后面如果指定了报错类型我们可以在你使用 except的后面添加邮件通知。

    2. 发起 get、post、head 等请求时,需要添加异常处理,因为有时候你会遇到一些:Url 异常、headers 所带参数被该网站的反爬技术改变等,这样我们添加之后就能快速定位到哪里报错。

    3. 解析网站时,有时会因为网站的 HTML 结构或者 JSON、Ajax 改变,这时我们也需要用到邮件通知。

    4. 总结

    这里我们讲到了 Python 发送邮件,并在爬虫中调用。在什么地方添加邮件通知会帮助我们快速出现问题的代码位置:

    • try...except :要添加

    • 发起请求时要添加:get、post、head,因为有事还有一些应为你 SSL 造成问题。

    • 解析网站时,有事数据未抓取到,无法提取而造成的报错,也需要在解析网站的位置添加邮件通知。

    以上便是我总结的一些爬虫报警实战经验。希望对你的工作有所帮助。代码可以关注本账号私信获取哦!

    相关文章

      网友评论

          本文标题:爬虫程序又莫名崩溃了?教你这一招轻松解决!

          本文链接:https://www.haomeiwen.com/subject/ldwznhtx.html