04-发送请求-requests模块处理cookie

• 爬虫中使用cookie利弊：
  好处：能够访问登陆后的页面，能够实现部分反反爬
  坏处：一套cookie往往对应一个用户信息，请求太频繁容易被识别
  解决方法：使用多个账号
• 处理cookie的三种方法：
  1.cookie字符串放在headers中
  2.使用cookies参数接收字典形式的cookie
  3.使用requests提供的session模块
• requests其他方法
  ①cookieJar
  ②requests处理证书错误
  ③超时参数timeout
  ④retrying模块

cookie字符串放在headers中

header中cookie的位置：

Request Headers
直接复制浏览器中的cookie到代码中

【demo06】访问登录后的博客

import requests
import re

url = 'http://www.lofter.com/blog/cgdsg'
headers = {
    "User-Agent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Mobile Safari/537.36",
    "Cookie":【此处放cookie】    }
response = requests.get(url, headers=headers)
# 响应url
print(response.url)
# 响应内容中是否含有账号名
print(re.findall("唱歌的傻瓜", response.content.decode()))

使用cookies参数接收字典形式的cookie

cookies的形式：

字典
cookies = {"cookie的name":"cookie的value"}

使用方法：

requests.get(url,headers=headers,cookies=cookie_dict}

使用requests提供的session模块

session

requests提供了session类，用来实现客户端和服务端的会话保持

使用方法：

session = requests.session()
response = session.get(url,headers)

【demo07】使用session请求个人主页

import re
import requests

# url
url='http://www.lofter.com/login?urschecked=true'

# headers
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36"
}

# post数据
post_data = {
    'phone': '【输入手机号】',
    'passport': '【输入密码】'
}

# 创建session对象
session = requests.session()

# 设置session对象
session.headers = headers

# 使用session做登录，post登录
session.post(url, data=post_data)

# 验证首页
response=session.get('http://cgdsg.lofter.com/')

# 响应url
print(response.url)
# 响应内容中是否含有账号名
print(re.findall("唱歌的", response.content.decode()))

requests其他方法

①cookieJar

response.cookies能够获取对方服务器设置在本地的cookie，值是CookieJar类型
使用requests.utils.dict_from_cookiejar，能够实现把cookiejar对象转化为字典

【demo08】使用cookieJar

import requests

url='http://www.baidu.com'
# 发送请求，获取response
response=requests.get(url)
print(type(response.cookies))

#使用方法从cookiejar中提取数据
cookies = requests.utils.dict_from_cookiejar(response.cookies)
print(cookies)

②requests处理证书错误

有时发起请求会返回证书错误：
ssl.CertificateError ...
解决方案：添加一个参数verify=False

import requests

url = "https://www.12306.cn/mormhweb/"
response = requests.get(url,verify=False)

③超时参数timeout

问题：遇到网络问题时请求需等待很长时间
解决办法：使用超时参数强制请求必须返回结果，否则报错

# 添加timeout参数，3秒钟内返回响应，否则报错
response = requests.get(url,timeout=3)

④retrying模块

作用：
刷新请求，能够实现捕获函数的异常，反复执行函数的效果，和timeout配合使用，能够解决网络波动带来的请求不成功的问题
使用：
1.使用retrying模块提供的retry模块
2.通过装饰器的方式使用，让被装饰的函数反复执行
2.retry中可以传入参数stop_max_attempt_number,让函数报错后继续重新执行，达到最大执行次数的上限，如果每次都报错，整个函数报错，如果中间有一个成功，程序继续往后执行

【demo09】retrying和request的简单封装

实现：

• 一个发送请求的函数
• 使用timeout实现超时报错
• 使用retrying模块实现重试

import requests
from retrying import retry

class RetryTest(object):

    def __init__(self):
        self.url = 'www.baidu.com'

    # 最大重试3次，3次全部报错，才会报错
    @retry(stop_max_attempt_number=3)
    def get_data(self):
        print("get_data:")
        response=requests.get(self.url,timeout=3)

    def run(self):
        self.get_data()

if __name__ == '__main__':
    try_test = RetryTest()
    try_test.run()