美文网首页
「爬虫」05爬虫过程异常处理

「爬虫」05爬虫过程异常处理

作者: 林拂晓 | 来源:发表于2020-01-09 12:32 被阅读0次

1.返回异常状态码的含义

301 Moved Permanently:重定向到新的URL,永久性

302 Found:重定向到临时的URL,非永久性

304 Not Found:请求的资源未更新

400 Bad Request:非法请求

401 Unauthorized:请求未经授权

403 Forbidden:禁止访问

404 Not Found:没有找到对应页面

500 Internet Server Error:服务器内部出现错误

501 Not Implemented:服务器不支持实现请求所需要的功能

2.HTTPError和URLError

    HTTPError是URLError的子类,HTTPError有异常状态码与异常原因,URLError没有异常状态码。所以,在处理时,不能使用URLError直接代替HTTPError。如果要代替,必须要判断是否有状态码属性。

URLError

3.产生URLError的原因:

①连不上服务器;

②远程URL不存在;

③本地无网络;

④触发了HTTPError子类。

相关文章

  • 「爬虫」05爬虫过程异常处理

    1.返回异常状态码的含义 301 Moved Permanently:重定向到新的URL,永久性302 Found...

  • Python数据分析与挖掘之爬虫异常处理

    异常处理概述 爬虫在运行的过程中,很多时候都会遇到这样或那样的异常。如果没有异常处理,爬虫遇到异常的时候就会直接奔...

  • 爬虫的异常处理

    爬虫在运动的过程中,很多时候都会遇到这样或那样的异常。如果没有异常处理,爬虫遇到异常时就会直接崩溃停止运行,下次再...

  • Python爬虫day3.2—python异常处理

    异常处理概述 python程序在执行的时候,经常会遇到异常,如果中间异常不处理,经常会导致程序崩溃。比如爬虫,如果...

  • Python异常处理

    异常处理概述 Python程序在执行的时候,经常会遇到异常,如果中间异常不处理,经常会导致程序崩溃。比如后面写爬虫...

  • Python代理IP爬虫的简单使用

    前言 Python爬虫要经历爬虫、爬虫被限制、爬虫反限制的过程。当然后续还要网页爬虫限制优化,爬虫再反限制的一系列...

  • Python爬虫之Email提醒

    在实际爬虫运行过程中,我们不可能时刻都盯着计算机,当爬虫运行过程中遇到异常或者服务器出了问题,我们就需要通过Ema...

  • 爬虫理解版本3

    1 爬虫高级 1.1 动态HTML处理和机器图像识别 爬虫(Spider),反爬虫(Anti-Spider),反反...

  • 1

    两种典型爬虫:通用网络爬虫、聚焦网络爬虫 通用网络爬虫实现原理与过程: 获取初始的URL 根据初始的URL爬取页面...

  • 爬虫入门的基本原理,如果你连这些都不知道那你可以放弃爬虫了!

    我们天天到处看到爬虫爬虫的,你了解爬虫是什么吗?你知道爬虫的爬取流程吗?你知道怎么处理爬取中出现的问题吗?如果你回...

网友评论

      本文标题:「爬虫」05爬虫过程异常处理

      本文链接:https://www.haomeiwen.com/subject/lndyactx.html