一、请求

基本get请求

import requests

response = requests.get('http://httpbin.org/get')

带参数get请求

response = requests.get("http://httpbin.org/get?name=germey&age=22")

or

data = {

    'name': 'germey',

    'age': 22

}

response = requests.get("http://httpbin.org/get", params=data)

解析Json

response.json() 等同于json.loads(response.text)

获取二进制数据

response.content 可以获取到二进制数据，多用于图片的下载。如：

response = requests.get("https://github.com/favicon.ico")

with open('favicon.ico', 'wb') as f:

    f.write(response.content)

    f.close()

添加headers

headers = {

    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'

}

response = requests.get("https://www.zhihu.com/explore", headers=headers)

添加cookies

cookies比较特别，不同网站不一样。需要先登陆该网站，开发者工具查看cookies值，全保存在一个txt文件中。

f=open('cookie_txt','r')

    cookies={}

    for line in f.read().split(';'):

        name,value=line.strip().split('=',1)

        cookies[name]=value

r = requests.get('url', headers=headers,cookies=cookies)

这是针对要登陆的网站的一种方法，还有一种会话维持的方法session下面说。

基本post请求

data = {'name': 'germey', 'age': '22'}

response = requests.post("http://httpbin.org/post", data=data)

---

二、响应

response属性

response.text    返回网页解析的内容，可通过response.encoding='gbk'来改变解码方式。

response.status_code    返回状态码

response.headers    返回头部信息

response.cookies    返回cookies信息

---

三、高级特性

文件上传

files = {'file': open('favicon.ico', 'rb')}

response = requests.post("http://httpbin.org/post", files=files)

会话维持

requests.get('http://httpbin.org/cookies/set/number/123456789')

response = requests.get('http://httpbin.org/cookies')

以上的cookie并没有维持，因为两次get请求相当于用两个浏览器发出请求，cookie没有持续下来。需要用session。

s = requests.Session()    #创建一个session对象

s.get('http://httpbin.org/cookies/set/number/123456789')

response = s.get('http://httpbin.org/cookies')

证书验证

访问一些https网站时，经常弹出此网站证书有问题的提示，从而影响爬虫的正常爬取。可使用如下方法：

from requests.packages import urllib3

urllib3.disable_warnings()

response = requests.get('https://www.12306.cn', verify=False)

代理设置

response = requests.get("https://www.taobao.com", proxies=proxies)

proxies是个字典，健可以是http或https，值是代理IP和端口

sock协议的还可以用

pip3 install 'requests[socks]'

之后proxies可以用sock协议代理。

超时设置

from requests.exceptions import ReadTimeout

try:

    response = requests.get("http://httpbin.org/get", timeout = 0.5)

    print(response.status_code)

except ReadTimeout:

    print('Timeout')

异常处理

异常处理的exception可以参考官网。

常见有ReadTimeout、RequestException、ConnectionError等。