Requests库简单使用

Request: Python爬虫基础库

Request库地址:request中文官网

• Request库的7个主要方法:

• Request.get()方法的工作流程

  1.png

• requests.get(url, params=None,**kwargs)

  url:获取页面url的连接

  params: url中的额外参数，可以是字典或者字节流类型，(可选)

  **kwargs: 12个控制访问的参数，(同样可选)

 def get(url, params=None, **kwargs):
 r"""Sends a GET request.

 :param url: URL for the new :class:`Request` object.
 :param params: (optional) Dictionary, list of tuples or bytes to send
     in the query string for the :class:`Request`.
 :param \*\*kwargs: Optional arguments that ``request`` takes.
 :return: :class:`Response <Response>` object
 :rtype: requests.Response
 """

 kwargs.setdefault('allow_redirects', True)
 return request('get', url, params=params, **kwargs)

• Response对象的属性:

  属性	说明
  r.status_code	HTTP请求的返回状态，200表示连接成功，404表示失败
  r.text	HTTP响应内容的字符串形式==url对应的页面内容的字符串形式
  r.encoding	从HTTP header中猜测的响应内容编码方式
  r.apparent_encoding	从内容中分析出的响应内容编码方式(备选编码方式)
  r.content	HTTP响应内容的二进制形式

• 如何理解Response的编码

  属性	说明
  r.encoding	从HTTPheader中猜测的相应内容编码方式
  r.apparent_encoding	从内容中分析出的响应内容编码方式(备选编码方式)

  原则上来说appare_encoding比encoding更加准确，因为appare_encoding是根据网页内容分析出的编码方式。

• Requests支持6种常用的连接异常

  异常	说明
  requests.ConnectionError	网络连接错误异常，如DNS查询失败、拒绝连接等
  requests.HTTPError	HTTP错误异常
  requests.URLRequired	URL缺失异常
  requests.TooManyRedirects	超过最大重定向次数，产生重定向异常
  requests.ConnectTimeout	连接远程服务器超时异常
  requests.Timeout	请求URL超时，产生超时异常