Python3 爬虫学习(二) - urllib 库

urllib 库

urllib 库是 Python 中最基本的网络请求库，可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。

urllib 是 Python3 自带的库。

urlopen 函数

在 Python3 的 urllib 库中，所有和网络请求相关的方法，都被集成到 urllib.request 模块下面了，先来看下 urlopen 函数基本的使用：

from urllib import request
resp = request.urlopen('http://www.baidu.com')
print(resp.read())

实际上，使用浏览器访问百度，右键查看源码，会发现，跟刚才我们打印出来的数据是一模一样的。也就是说，上面的三行代码就已经帮我们把百度的首页的全部代码爬下来了。一个基本的 url 请求对应的 Python 代码真的非常简单。
以下对 urlopen 函数的参数进行说明：

• url：请求的 url
• data：请求的 data，如果设置了这个值，那么将变成 post 请求。
• 返回值：返回的是一个 http.client.HTTPResponse 对象，这个对象是一个类文件句柄对象。有 read(size)，readline，readlines 以及 getcode 等方法。

urlretrieve 函数

这个函数可以方便地将网站上的一个文件保存到本地。以下代码可以非常方便地将百度的首页下载到本地：

from urllib import request
request.urlretrieve('http://www.baidu.com', 'files/baidu_index.html')

urlencode 函数

用浏览器发送请求的时候，如果 url 中包含了中文或者其他特殊字符，那么浏览器会自动给我们进行编码。而如果使用代码发送请求，那么就必须手动地进行编码，这时候就应该使用 urlencode 函数来实现。urlencode 可以把字典数据转换为 URL 编码的数据。示例如下：

from urllib import parse
data = {'name':'爬虫基础', 'greet':'hello world', 'age':100}
qs = parse.urlencode(data)
print(qs)

parse_qr 函数

可以将经过编码后的 url 参数进行解码，示例如下：

from urllib import parse
qs = 'name=%E7%88%AC%E8%99%AB%E5%9F%BA%E7%A1%80&greet=hello+world&age=100'
print(parse.parse_qs(qs))

urlparse 和 urlsplit

有时候拿到一个 url，想要对这个 url 中的各个组成部分进行分割，那么这时候就可以使用 urlparse 或者是 urlsplit 来进行分割。示例如下：

from urllib import request,parse

url = 'http://www.baidu.com/s?username=zhiliao&qus=mzd#m1'

result = parse.urlsplit(url)
# result = parse.urlparse(url)

print(result)

print('schema: ', result.scheme)
print('netloc: ', result.netloc)
print('path: ', result.path)
print('query: ', result.query)
# print('params: ', result.params)  #ParseResult才有这个属性
print('fragment: ', result.fragment)

urlparse 和 urlsplit 函数使用上几乎是一样的，唯一的区别在于返回值，ParseResult 中多了一个 params 的属性。但实际上，该属性用的较少。

request.Request 类

如果想要在请求的时候增加一些请求头，就必须使用 request.Request 类来实现。比如要增加一个 User-Agent，示例代码如下：

from urllib import request

headers = {
      'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
}

req = request.Request('http://www.baidu.com/', headers=headers)
resp = request.urlopen(req)
print(resp.read())

ProxyHandler 处理器（代理设置）

很多网站会检测某一段时间某个 IP 的访问次数（通过流量统计，系统日志等），如果访问次数多得不像正常人，它会禁止这个 IP 的访问。所以我们可以设置一些代理服务器，下面代码说明如何使用自定义 opener 来使用代理：

from urllib import request

# 这个是没有使用代理的
# resp = request.urlopen('http://httpbin.org/get')
# print(resp.read().decode('utf-8'))

# 这个是使用了代理的
handler = request.ProxyHandler({"http":"218.66.161.88:31769"})

opener = request.build_opener(handler)
req = request.Request('http://httpbin.org/ip')
resp = opener.open(req)
print(resp.read())

常用的代理有：

• 西刺免费代理：http://www.xicidaili.com
• 快代理：http://www.kuaidaili.com
• 代理云：http://www.dailiyun.com

示例：

image.png image.png