Requests
是python的一个HTTP客户端库,跟python内置的urllib,urllib2类似,那为什么要用requests而不用urllib2呢?官方文档中是这样说明的:
python的标准库urllib2提供了大部分需要的HTTP功能,但是API太逆天了,一个简单的功能就需要一大堆代码。
废话不多说,直接开始。
如果你还没用安装的话,你需要先安装,我的Mac系统使用pip3 install requests
,其他系统请自行百度。
安装之后我们看下几个常用的方法,体验一下Requests
的方便之处。
一、发送请求
1、发送一个get
请求
import requests
response = requests.get('https://book.douban.com/')
2、发送一个post
请求
import requests
r = requests.post('http://httpbin.org/post', data = {'key':'value'})
3、发送其他 HTTP 请求类型:PUT
,DELETE
,HEAD
以及 OPTIONS
>>> r = requests.put('http://httpbin.org/put', data = {'key':'value'})
>>> r = requests.delete('http://httpbin.org/delete')
>>> r = requests.head('http://httpbin.org/get')
>>> r = requests.options('http://httpbin.org/get')
4、在url里构建传递参数,例如,http://bin.org/get?key=val
。 Requests 允许你使用 params
关键字参数,以一个字符串字典来提供这些参数
举个栗子:
payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.get("http://httpbin.org/get", params=payload)
通过打印输出该 URL,你能看到 URL 已被正确编码:
print(r.url)
>>> http://httpbin.org/get?key2=value2&key1=value1
还可以将一个列表作为值传入
>>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
>>> r = requests.get('http://httpbin.org/get', params=payload)
>>> print(r.url)
http://httpbin.org/get?key1=value1&key2=value2&key2=value3
二、获取响应内容
requests
发送请求之后返回一个Respone对象,我们可以从Respone对象中获取像status_code
、url
、encoding
、text
、content
、json
、raw
、headers
、cookies
、raw
、
import requests
response = requests.get('https://book.douban.com/')
print(response)
>>> <Response [200]>
key | 对应内容 |
---|---|
status_code | 状态码, |
url | 经request构建之后的url, 通过 r.url获得 |
encoding | 获取响应内容的编码方式,通过 r.encoding获得,我们还可以设置编码方式r.encoding = 'utf-8' |
text | 响应的文本形式内容,通过 r.text获得 |
content | 响应的二进制形式内容,比如图片、音视频等,可以把图片写入本地进行存储,通过 r.content获得 |
json | 响应的json形式内容,通过r.json()获取 |
raw | 响应的原始内容 |
headers | 请求头内容 |
cookies | cookies内容,栗子: r.cookies['example_cookie_name'] |
request.headers | 请求头内容,通过r.request.headers获取 |
headers | 响应头内容, 通过r.headers获取,注意和请求头区分 |
..... | 未完待续... |
三、定制特殊参数
我们还可以在发送请求时进行一些特殊配置,比如配置请求头的user-agent
、cookies
等内容,也可以设置超时时间timeout
,配置代理proxies
,由于大部分网站都有反爬措施,这些设置在进行爬虫操作时就显得很重要了。
1、定制请求头headers。
伪装请求头部是爬虫(采集)时经常用的
payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get("http://httpbin.org/get", params=payload)
print( r.request.headers['User-Agent']) #打印
>>> python-requests/2.18.4 #此处打印的内容为request自带的'User-Agent',可能会被网站限制,下面我们伪装为浏览器访问
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get("http://httpbin.org/get", params=payload, headers=headers)
print(r.request.headers['User-Agent'])
>>> Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36
2、代理访问。
采集时为避免被封IP,经常会使用代理。requests也有相应的proxies属性。
proxies = {
"http": "http://10.10.1.10:3128",
"https": "http://10.10.1.10:1080",
}
requests.get("http://www.zhidaow.com", proxies=proxies)
如果代理需要账户和密码,则需这样:
proxies = {
"http": "http://user:pass@10.10.1.10:3128/",
}
3、设置超时时间
requests.get('http://github.com', timeout=10)
4、设置cookies
又一个栗子走起:
发送一个含有代理ip和带参数的post请求,然后打印出返回内容,
proxies = {
"http": 'http://101.236.23.202:8866',
"https": 'https://221.1.205.74:8060',
}
data = {
'name':'jack',
'age':'23'
}
r = requests.post("http://httpbin.org/post", proxies=proxies, data=data)
print(r.text)
结果看下面截图
22222.png
网友评论