Python爬虫Handler处理器和自定义Opener系列

作者: 晓可加油 | 来源:发表于2017-07-19 16:00 被阅读56次

1，概述

opener是 urllib.request.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。

但是基本的urlopen()方法不支持代理、Cookie等其他的 HTTP/HTTPS高级功能。所以要支持这些功能：

1,使用相关的 Handler处理器来创建特定功能的处理器对象；
2,然后通过 urllib.request.build_opener()方法使用这些处理器对象，创建自定义opener对象；
3,使用自定义的opener对象，调用open()方法发送请求。
4,注意：如果程序里所有的请求都使用自定义的opener，可以使用urllib.request.install_opener() 将自定义的 opener 对象定义为全局opener，表示如果之后凡是调用urlopen，都将使用这个opener（根据自己的需求来选择）。

2,简单的自定义opener()案例

from urllib import request

def loadPage():
    # 1. 创建指定功能的handler处理器对象,也可以是HTTPSHandler
    # 指定debuglevel = 1参数，还会将Debug_Log打开，
    # 这样程序在执行的时候，会把收包和发包的报头在屏幕上自动打印出来，方便调试，有时可以省去抓包的工作。
    http_handler = request.HTTPHandler(debuglevel=1)

    # 2. 使用处理器对象，返回自定义opener对象，这个opener发送请求时就具有opener的功能
    opener = request.build_opener(http_handler)

    # 3. 使用opener.open() 发送请求
    response = opener.open("http://www.baidu.com/")

    return response.read()


if __name__ == "__main__":
    html = loadPage()
    print(html)

3，ProxyHandler处理器（代理设置）

使用代理IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。

很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。

所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。

urllib2中通过ProxyHandler来设置使用代理服务器。

匿名度：通常情况下，使用免费代理是可以看到真实IP的，所以也叫透明代理。透明代理的请求报头有X-Forwarded-For部分，值是原始客户端的 IP。

所以，专业爬虫工程师或爬虫公司会使用高品质的私密代理，这些代理通常需要找专门的代理供应商购买，再通过用户名/密码授权使用。

import os
from urllib import request


def loadPage():
    # 获取指定环境变量的值
    # 代理用户名
    proxy_user = os.environ.get('proxy_user')
    print(proxy_user)
    # 代理密码
    proxy_password = os.environ.get("proxy_password")
    print(proxy_password)
    # 代理服务器IP
    proxy_server = os.environ.get("proxy_server")

    # 请求报头
    headers = {"User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Trident/5.0)"}

    # 1. 免费代理，直接使用,但是不稳定，可能用不了
    # proxy = {"http" : "121.232.147.178:9000"}

    # 2. 私密代理，需要配置用户名和密码，有两种配置方式如下：
    # proxy = {"http": "197681237:jed7abcgtpc@122.124.189.110:16516"}
    # 在ubuntu环境变量中配置
    # 配置路径：用户变量：~/.bashrc
    proxy = {"http": proxy_user + ":" + proxy_password + "@" + proxy_server}

    # 可以处理代理的handler处理器，参数是字典类型
    proxy_handler = request.ProxyHandler(proxy)

    # 构建自定义opener对象，可以处理代理
    opener = request.build_opener(proxy_handler)

    # 构建Request请求
    req = request.Request("http://www.baidu.com/", headers=headers)

    # 使用自定义opener发送请求，同时附加代理处理
    response = opener.open(req)

    print(response.read())


if __name__ == "__main__":
    loadPage()

4，HTTPPasswordMgrWithDefaultRealm()不建议使用，推荐使用ProxyHandler（）

HTTPPasswordMgrWithDefaultRealm()类将创建一个密码管理对象，用来保存 HTTP 请求相关的用户名和密码，主要应用两个场景：

验证代理授权的用户名和密码 (ProxyBasicAuthHandler())
验证Web客户端的的用户名和密码 (HTTPBasicAuthHandler())

ProxyBasicAuthHandler(代理授权验证)
如果我们使用之前的代码来使用私密代理，会报 HTTP 407 错误，表示代理没有通过身份验证：
HTTP Error 407: Proxy Authentication Required
HTTPBasicAuthHandler处理器（Web客户端授权验证）
有些Web服务器（包括HTTP/FTP等）的有些页面并不想提供公共访问权限，或者某些页面不希望公开，但是可以让特定的客户端访问。那么用户在访问时会要求进行身份认证。
爬虫直接访问会报HTTP 401 错误，表示访问身份未经授权：
HTTP Error 401: Unauthorized

from urllib import request

# 用户名
user = "test"
# 密码
passwd = "123456"
# Web服务器 IP
webserver = "http://192.168.105.29"

# 1. 构建一个密码管理对象，用来保存需要处理的用户名和密码
passwdmgr = request.HTTPPasswordMgrWithDefaultRealm()

# 2. 添加账户信息，第一个参数realm是与远程服务器相关的域信息，一般没人管它都是写None，后面三个参数分别是 Web服务器、用户名、密码
passwdmgr.add_password(None, webserver, user, passwd)

# 3. 构建一个HTTP基础用户名/密码验证的HTTPBasicAuthHandler处理器对象，参数是创建的密码管理对象
httpauth_handler = request.HTTPBasicAuthHandler(passwdmgr)

# 4. 通过 build_opener()方法使用这些代理Handler对象，创建自定义opener对象，参数包括构建的 proxy_handler
opener = request.build_opener(httpauth_handler)

# 5. 可以选择通过install_opener()方法定义opener为全局opener
request.install_opener(opener)

# 6. 构建 Request对象
req = request.Request("http://192.168.105.29")

# 7. 定义opener为全局opener后，可直接使用urlopen()发送请求
response = request.urlopen(req)

# 8. 打印响应内容
print(response.read())

5，Cookie

1，cookie概述

HTTP是无状态的面向连接的协议，服务器和客户端的交互仅限于请求/响应过程，结束之后便断开，在下一次请求时，服务器会认为新的客户端。为了维护他们之间的链接，让服务器知道这是之前某个用户发送的请求，则必须在一个地方保存客户端的信息。

Cookie：通过在客户端记录的信息确定用户的身份。

Session：通过在服务器端记录的信息确定用户的身份。

Cookie 是指某些网站服务器为了辨别用户身份和进行Session跟踪，而储存在用户浏览器上的文本文件，Cookie可以保持登录信息到用户下次与服务器的会话。

2，cookielib库和 HTTPCookieProcessor处理器

在Python处理Cookie，一般是通过cookielib模块和 urllib.request模块的HTTPCookieProcessor处理器类一起使用。

cookielib模块：主要作用是提供用于存储cookie的对象
HTTPCookieProcessor处理器：主要作用是处理这些cookie对象，并构建handler对象。
cookielib 库
该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。
CookieJar：管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。
FileCookieJar (filename,delayload=None,policy=None)：从CookieJar派生而来，用来创建FileCookieJar实例，检索cookie信息并将cookie存储到文件中。filename是存储cookie的文件名。delayload为True时支持延迟访问访问文件，即只有在需要时才读取文件或在文件中存储数据。
MozillaCookieJar (filename,delayload=None,policy=None)：从FileCookieJar派生而来，创建与Mozilla浏览器 cookies.txt兼容的FileCookieJar实例。
LWPCookieJar (filename,delayload=None,policy=None)：从FileCookieJar派生而来，创建与libwww-perl标准的 Set-Cookie3 文件格式兼容的FileCookieJar实例。

其实大多数情况下，我们只用CookieJar()，如果需要和本地文件交互，就用 MozillaCookjar() 或 LWPCookieJar()

3，cookie属性

Cookie是http请求报头中的一种属性，包括：
Cookie名字（Name）
Cookie的值（Value）
Cookie的过期时间（Expires/Max-Age）
Cookie作用路径（Path）
Cookie所在域名（Domain），
使用Cookie进行安全连接（Secure）。
前两个参数是Cookie应用的必要条件，另外，还包括Cookie大小（不同浏览器对Cookie个数及大小限制是有差异的）。

Cookie由变量名和值组成，根据 Netscape公司的规定，Cookie格式如下：

Set－Cookie: NAME=VALUE;Expires=DATE;Path=PATH;Domain=DOMAIN_NAME；SECURE

4，cookie应用

案例一：获取登录过的百度的cookie

from urllib import request
from http import cookiejar

# 创建CookieJar()对象，可以在内存中存储Cookie
cookiejar = cookiejar.CookieJar()
# 构建Cookie处理器对象，用来处理Cookie请求
cookie_handler = request.HTTPCookieProcessor(cookiejar)
# 构建自定义opener，发送请求后可以自动记录cookie到cookiejar
opener = request.build_opener(cookie_handler)
# 发送请求
opener.open("http://www.baidu.com/")

print(cookiejar)

cookie_str = ""
for cookie in cookiejar:
    cookie_str += cookie.name + "=" + cookie.value + "; "

print(cookie_str)


# 第一次打印结果如下：
# <CookieJar[
# <Cookie BAIDUID=7851A9154CA33452B13341B793E2DD682DB:FG=1 for .baidu.com/>,
# <Cookie BIDUPSID=7851A91554CA32B13341B793E2DD682DB for .baidu.com/>,
# <Cookie H_PS_PSSID=1437_251108_1677001_20718 for .baidu.com/>,
# <Cookie PSTM=150036721731 for .baidu.com/>,
# <Cookie BDSVRTM=0 for www.baidu.com/>,
# <Cookie BD_HOME=0 for www.baidu.com/>
# ]>

# 第二次打印结果
# BAIDUID=D02C0083135C6986F65CC7E74846F2962:FG=1;
# BIDUPSID=D02C0058313C69865F65CC7E74846F2962;
# H_PS_PSSID=14569_21114_17001_20927;
# PSTM=1550037625191;
# BDSVRTM=0;
# BD_HOME=0;

案例二，访问网站获得cookie，并把获得的cookie保存在cookie文件中

from urllib import request
from http import cookiejar

# 保存cookie到本地磁盘文件名
filename = 'cookie.txt'

# 声明一个MozillaCookieJar(有save实现)对象实例来保存cookie，之后写入文件
cookiejar = cookiejar.MozillaCookieJar(filename)

# 使用HTTPCookieProcessor()来创建cookie处理器对象，参数为CookieJar()对象
handler = request.HTTPCookieProcessor(cookiejar)

# 通过 build_opener() 来构建自定义opener
opener = request.build_opener(handler)

# 创建一个请求
response = opener.open("http://www.baidu.com")

# 保存cookie到本地文件，使用save（）方法即可保存cookie
cookiejar.save()

案例三，从文件中获取cookies，做为请求的一部分去访问

from urllib import request
from http import cookiejar

# 创建MozillaCookieJar(有load实现)实例对象
cookiejar = cookiejar.MozillaCookieJar()

# 从文件中读取cookie内容到变量
cookiejar.load('cookie.txt')

# 使用HTTPCookieProcessor()来创建cookie处理器对象，参数为CookieJar()对象
handler = request.HTTPCookieProcessor(cookiejar)

# 通过 build_opener() 来构建opener
opener = request.build_opener(handler)

response = opener.open("http://www.baidu.com")
with open('xiaoke.html','wb') as f:
    f.write(response.read())

案例四，利用cookiejar和post模拟登录人人网

from urllib import request, parse
from http import cookiejar


def login(opener):
    """
        模拟登录，返回保存了登录状态的opener
        opener: 没有登录状态Cookie 的 opener对象
    """
    # 登录需要的数据，不同的网站登录参数会不一样
        # 这是人人网，老接口，只需要用户名和密码
        "email": "abcdef@163.com",
        "password": "123456"
        # "token" : "xxxxxx",
    }
    # 转为url编码
    data = parse.urlencode(fromdata).encode('utf-8')
    # 登录页面的url地址
    url = "http://www.renren.com/PLogin.do"
    headers = {"User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Trident/5.0)"}

    # 发送post请求，登录人人网，并且获取登录状态的cookie
    request_1 = request.Request(url, data=data, headers=headers)
    # 发送请求，获取Cookie
    opener.open(request_1)

    # 返回具有登录状态的opener
    return opener


def after_login(login_opener):
    """
        附带登录状态的Cookie，发送其他页面的请求
        login_opener: 附带登录状态Cookie 的 opener对象
    """
    headers = {"User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Trident/5.0)"}
    # 构建人人网随便一个用户主页的请求
    request_2 = request.Request("http://www.renren.com/882178992/profile", headers=headers)
    
    # 直接访问这个页面
    response = login_opener.open(request_2)

    with open("renren.html", "wb") as f:
        f.write(response.read())


if __name__ == "__main__":
    # 用来存储Cookie，可以动态更新Cookie
    cookiejar = cookiejar.CookieJar()
    # 构建Cookie处理器对象，用来处理Cookie请求
    cookie_handler = request.HTTPCookieProcessor(cookiejar)
    # 构建自定义opener，发送请求后可以自动记录cookie到cookiejar
    opener = request.build_opener(cookie_handler)
    # 自己账户先登录，登录之后可以拿到带有cookie信息的opener
    login_opener = login(opener)
    # 通过这个带有cookie信息的opener，去访问其他用户的信息
    after_login(login_opener)

Python爬虫Handler处理器和自定义Opener系列

1，概述

2,简单的自定义opener()案例

3，ProxyHandler处理器（代理设置）

4，HTTPPasswordMgrWithDefaultRealm()不建议使用，推荐使用ProxyHandler（）

5，Cookie

1，cookie概述

2，cookielib库和 HTTPCookieProcessor处理器

3，cookie属性

4，cookie应用

案例一：获取登录过的百度的cookie

案例二，访问网站获得cookie，并把获得的cookie保存在cookie文件中

案例三，从文件中获取cookies，做为请求的一部分去访问

案例四，利用cookiejar和post模拟登录人人网

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

Python爬虫学习

Python爬虫Handler处理器 和 自定义Opener系列

1，概述

2,简单的自定义opener()案例

3，ProxyHandler处理器（代理设置）

4，HTTPPasswordMgrWithDefaultRealm()不建议使用，推荐使用ProxyHandler（）

5，Cookie

1，cookie概述

2，cookielib库 和 HTTPCookieProcessor处理器

3，cookie属性

4，cookie应用

案例一：获取登录过的百度的cookie

案例二，访问网站获得cookie，并把获得的cookie保存在cookie文件中

案例三，从文件中获取cookies，做为请求的一部分去访问

案例四，利用cookiejar和post模拟登录人人网

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

Python爬虫学习

Python爬虫Handler处理器和自定义Opener系列

2，cookielib库和 HTTPCookieProcessor处理器