最近学习了网络爬虫，深刻感受到Requests的强大，现在就其基本使用方法做一个总结。详细用法请参考官网：
https://2.python-requests.org/zh_CN/latest/user/quickstart.html
所有的方法（get、options、post、put、patch和delete）最终全部通过requests()函数进行处理，详细参数如下：
def requests(
url = url #需要请求的URL
headers = headers #需要伪装的头部
params = params #get请求需要带的参数,post是data
cookies = cookies#设置你的cookies .如果后续请求需要cookie，我们一般直接创建一个会话
proxies = proxies #使用代理
timeout = timeout #用来设置超时时间
json = json #用于json数据，后边另有说明
files = Dictionary | tuple #文件
auth = tuple #一种进行身份验证。auth= {'user':'password'}
allow_redirects = True #用于请求重定向，默认开启，设为False代表关闭是
verify = True #是否启用安全认证，验证服务器端的SSL证书，默认是True。设置为False就忽略证书验证，可以为 verify 传入 CA_BUNDLE 文件的路径，或者包含可信任 CA 证书文件的文件夹路径
stream = False #默认立即下载响应内容，设置为True，则推迟下载，直到使用r.content才下载
cert = '' path | ('cert','key')'' #给客户端使用证书使用证书文件
#在这么多参数中，我们经常需要的就是：url、headers、params。cookies一般放在headers中或者需要跨域名时直接创建一个会话
我是新手，用的最多的就是下面这几个：
import requests #需要导入requests库
url = "http://baidu.com"#需要爬虫的网站URL
headers = {
'User-Agent':' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36',
}#伪装的浏览器头部
params = {
'key1': 'value1',
'key2': 'value2'
}#get请求的参数是**params**
proxies = {
"http": "http://10.10.1.10:3128",
"https": "http://10.10.1.10:1080",
}#代理的格式
#几个最常用的get请求
r = requests.get(url = url )#直接请求，部分网站有反爬功能，会禁止访问
r = requests.get(url = url ,headers = headers，proxies = proxies )#伪装头部请求，还可以加上代理，避免被反爬
r = requests.get(url = url ,headers = headers,parms = params)#带参数请求
r = requests.get(url = url ,headers = headers,timeout = 0.01)#等待响应时间超过0.01后，不再等待响应
#post请求所带的form data在requests是data
data = {
'key1': 'value1',
'key2': 'value2'
}#post请求的参数是**data**
#一般最常用的post请求
r = requests.post(url = ulr ,headers = headers, data = data)
#很多夸域名的访问可以采用会话机制
s = requests.Session()
r = s.get(url = url ,headers = headers)
常用的其他方法或者属性
r.url #输出请求的url。一般用于自测试
r.text #以文本形式返回HTML
r.encoding #查看网页的编码
r.encoding = 'utf8' #修改网页的编码
r.content #得到响应的二进制形式，一般将图片或者视频写入文件时用
r.status_code #检测响应的状态码
r. raise_for_status() #用于抛出响应状态异常
r.headers #以字典的形式得到服务器响应头部
r.history #追踪重定向
r.json() #将得到的响应进行JSON格式的解码
#也可以用下面这种方式写图片
from PIL import Image
from io import BytesIO
i = Image.open(BytesIO(r.content))
下面这些都是不常用的，参考看一下。
1、可能会用到的get请求方式
#你可能想获取来自服务器的原始套接字响应
#，那请你确保在初始请求中设置了 stream=True，然后用 r.raw访问
r = requests.get(url = url, stream=True)#
r.raw
输出示例：<requests.packages.urllib3.response.HTTPResponse object at 0x101194810>
r.raw.read(10)
输出示例：'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'
2、post请求时使用Json数据
#在2.4.2 版之后直接可以使用json格式的数据直接传递
r = requests.post(url, json=payload)
#之前则必须导入josn库把字典转换为字符串
r = requests.post(url, data=json.dumps(payload))
3、会话相关
#会话也可用来为请求方法提供缺省数据。
#这是通过为会话对象的属性提供数据来实现的
s.auth = ('user', 'pass')
s.headers.update({'x-test': 'true'})
#就算使用了会话，方法级别的参数也不会被跨请求保持
#这个请求设置了会话的cookies
r = s.get('http://httpbin.org/cookies', cookies={'from-my': 'browser'})
#但是cookies不会继续保持到这个请求
r = s.get('http://httpbin.org/cookies')
4、上传文件
#上传文件
r = requests.post(url, files=files)
#文件格式：'name': file-like-objects (or {'name': file-tuple})
#('filename', fileobj) | ('filename', fileobj, 'content_type')
# ('filename', fileobj, 'content_type', custom_headers)
5、禁用重定向
#所有的方法都可以使用
r = requests.head('http://github.com', allow_redirects=True)
6、钩子（类似于回调函数）
#通过传递一个 {hook_name: callback_function} 字典给 hooks 请求参数为每个请求分配一个钩子函数：
#定义钩子函数
hooks=dict(response=print_url)
#定义你的函数
def print_url(r, *args, **kwargs):
print(r.url)
#请求时调用
requests.get('http://httpbin.org', hooks=dict(response=print_url))
7、文件分块
#对于出去和进来的请求，Requests 也支持分块传输编码。
#要发送一个块编码的请求，仅需为你的请求体提供一个生成器
#（或任意没有具体长度的迭代器）：
def gen():
yield 'hi'
yield 'there'
requests.post('http://some.url/chunked', data=gen())
#最好使用 Response.iter_content() 对其数据进行迭代
8、几乎很少用到的方法
#几乎不用的。因为我们是爬取别人网站，所以这个几乎不用
r = requests.put('http://httpbin.org/put', data = {'key':'value'})
r = requests.delete('http://httpbin.org/delete')
r = requests.head('http://httpbin.org/get')
r = requests.options('http://httpbin.org/get')
网友评论