第一章 Requests库

1.1 Requests库方法介绍

requests.request() : 构造一个请求，支持下面方法（其它方法基础）

Requests 库的六种方法和HTTP协议的六种方法一致：
requests.get()： 获取HTML网页的主要方法，对于与HTTP的GET
requests.head()： 获取HTML页头信息，对应于与HTTP的HEAD
requests.post()： 向网页提交POST请求方法，对应于HTTP的POST
requests.put()：向网页提交PUT请求方法，对应于HTTP的PUT
requests.patch()：向网页提交局部修改请求，对应于HTTP的PATCH
requests.delete()：向网页提交删除请求，对应于HTTP的DELETE

用户通过 requests.get()， requests.head() 访问 Internet，获取资源
用户通过 requests.put()，requests.post()， requests.patch()， requests.delete() 修改Internet网络信息

假设：URL位置有一组数据 UserInfo， 包括UserID， UserName等20个字段
需求： 用户修改了UserName，其它不变
方法： 1. 采用Patch， 仅向URL提交UserName局部修改信息
    2. 采用PUT， 必须将所有20个字符一起提交URL，未提交字符会删除

1.2 Response对象属性

r.status_code: HTTP请求的返回状态，200表示访问成功
r.text: HTTP响应内容的字符串格式
r.encoding: HTTP header的编码方式
r.apparent_encoding: HTTP 内容中的编码方式
r.content: HTTP响应内容的二进制形式（还原图片）

主要注意 r.encoding 和 r.apparent_encoding 区别
r.encoding 如果header中不存在charset，则默认为 ISO-8859-1

import requests
r = requests.get('http://www.baidu.com')
print(r.text)
print(r.encoding)
print(r.apparent_encoding)
r.encoding = 'utf-8'
print(r.text)

r.text: 一开始输入非常规码
r.encoding : 'ISO-8859-1'
r.apparent_encoding: 'utf-8'
r.text: 显示可读代码

Requests 返回的异常值

requests.ConnectionError: 网络连接错误异常，如DNS查询失败，拒绝连接等
requests.HTTPError： HTTP错误异常
requests.URLRequired： URL缺失异常
requests.tooManyRedirects： 超过最大定向次数，产生重定向异常
requests.ConnectTimeout： 连接远程服务器超时异常
requests.Timeout： 请求URL超时，产生超时异常

1.3 爬虫代码通用框架结构

import requests

def getHTMLText(url):
  try:
    r = requests.get(url, timeout = 30)
    r.raise_for_status() # not 200, raise error automatically
    r.encoding = r.apparent_encoding
    return r.text
  except:
    return 'FINDING ERRORS!'

if __name__ = '__main__':
  url = 'http://www.baidu.com'
  print(getHTMLText(url))

1.4 requests.request(method, url, **kwargs)

请求方法
r = requests.request('GET', url, **kwargs)
r = requests.request('HEAD', url, **kwargs)
r = requests.request('POST', url, **kwargs)
r = requests.request('PUT', url, **kwargs)
r = requests.request('PATCH', url, **kwargs)
r = requests.request('delete', url, **kwargs)
r = requests.request('OPTIONS', url, **kwargs)

**kwarges 控制访问参数，均为可选项

params： 字典或者字节序列，作为参数增加到url中

kv={'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123', params =kv)
print(r.url)
# http://python123.io/ws?key1=value1&key2=value2

data:字典或者字符串，向data域赋值

kv={'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123', data=kv)

json:字典，向json域赋值

kv={'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123', json=kv)

其它还有headers，cookies， auth， files， timeout， proxis等

1.5 requests.get(url)

r = requests.get(url, params = None, **kwargs)
url: 获取页面的url链接
params: url中的额外参数，字典或字节流格式，可选
**kwargs: 12个控制访问的参数

获取HTML网页的主要方法，对于与HTTP的GET
首先构造一个向服务器请求资源的Request对象
结果返回一个包含服务器资源的Response类

import requests
r = response.get(''http://www.baidu.com'')
print(r.status_code)
print(r.headers)
print(type(r))

status_code ：如果返回 200,表示访问成功
type(r)： requests.models.Response
r.headers: 显示头文件

1.6 requests.head(url)

只是显示头部信息，所花费流量信息比较少

import requests
r = requests.head('http://www.baidu.com')
print(r.headers)
print(r.text)

结果显示print(r.text)为None

1.7 requests.post(url)

向URL POST一个字典自动编码为form(表单）
向URL POST一个字符串自动编码为data

import requests
payload = {'key1':'value1', 'key2':'value2'}
r = requests.post('http://httpbin.org/post', data = payload)
print (r.text)
{
'form':{
  'key2': 'valu2'
  'key1' : 'value1'
 }
}

import requests
payload = {'key1':'value1', 'key2':'value2'}
r = requests.post('http://httpbin.org/post', data = 'ABC')
print (r.text)
{
  'data': 'ABC'
  'form':{
 }
}