美文网首页
先来爬爬POI_再续

先来爬爬POI_再续

作者: Giser1993 | 来源:发表于2017-06-08 21:38 被阅读0次

    原文再续,书接上回

    前几天一直在忙工作的事情,没有来填坑,给大家数据抱歉。

    上一篇讲了一下怎么把文件保存下来,倒是挖了个异常处理的坑还没解决,这次就把这个坑给填上吧。

    异常呢,在这个小爬虫里边主要有两种情况,一种是在向服务器发送请求的时候超时了,还有一种是返回回来的数据不对劲。至于其他的存数据的盘被拔了、突然断电电脑关机啦,不在考虑之列。

    首先说第一种情况,大部分时候是因为网络状态不好,一般会是这样的time out

    异常示例

    对于这种异常,我一般是试用try....AAAA...except....BBBB...语句来控制,这个语句的意思,按照我个人的理解就是尝试AAAA,如果AAAA执行过程中出问题了,就去执行BBBB。具体含义我还是贴个链接吧。

    try以后的代码

    运行结果大概是这样的

    把出现问题的url打印出来

    好了,网络异常的问题解决的了,下边就来看返回数据异常的问题了。

    返回值异常问题一般会出现在你的key访问权限用完了,或者你填写的参数有问题之类的,这时候,就需要对返回的数据做一下判断了。具体的错误代码,点这里返回状态代码链接

    这是我随便造了一个key以后的状态

    对于这个问题,用try....except.....和if......else.......都可以解决,不过我一般喜欢用if解决。

    加个if 。。。else。。。语句

    好了,到此为止,一个简单的爬虫就搞定了,你申请个KEY就可以跑起来了,不过还是有一定的问题,比如异常的区块的数据怎么处理,这个搞起来有点麻烦,等我啥时候闲下来有时间再搞吧。

    老规矩:有需要这部分代码的同志可以给我发邮件,大概介绍一下自己,然后说明要这部分代码就好了,当然了,开发者的KEY我可是不会给的,自己去申请吧。邮箱1373415867@qq.com

    相关文章

      网友评论

          本文标题:先来爬爬POI_再续

          本文链接:https://www.haomeiwen.com/subject/yxvsxxtx.html