爬虫_045_urllib

1、urllib介绍

除了requests模块可以发送请求之外, urllib模块也可以实现请求的发送,只是操作方法略有不同!

urllib在python中分为urllib和urllib2，在python3中为urllib

下面以python3的urllib为例进行讲解

2、urllib的基本方法介绍

2.1 urllib.Request

1. 构造简单请求

   import urllib
   #构造请求
   request = urllib.request.Request("http://www.baidu.com")
   #发送请求获取响应
   response = urllib.request.urlopen(request)
   

2. 传入headers参数

   import urllib
   #构造headers
   headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"} 
   #构造请求
   request = urllib.request.Request(url, headers=headers)
   #发送请求
   response = urllib.request.urlopen(request)
   

3. 传入data参数 实现发送post请求（示例）

   import urllib.request
   import urllib.parse
   import json
   
   url = 'https://ifanyi.iciba.com/index.php?c=trans&m=fy&client=6&auth_user=key_ciba&sign=99730f3bf66b2582'
   
   headers = {
       'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Safari/605.1.15',
   
   }
   data = {
       'from': 'zh',
       'to': 'en',
       'q': 'lucky 是一个帅气的老'
   }
   # 使用post方式
   # 需要
   data = urllib.parse.urlencode(data).encode('utf-8')
   req = urllib.request.Request(url, data=data, headers=headers)
   res = urllib.request.urlopen(req)
   print(res.getcode())
   print(res.geturl())
   data = json.loads(res.read().decode('utf-8'))
   print(data)
   

2.2 response.read()

获取响应的html字符串,bytes类型

#发送请求
response = urllib.request.urlopen("http://www.baidu.com")
#获取响应
response.read()

3、urllib请求百度首页的完整例子

import urllib
import json

url = 'http://www.baidu.com'
#构造headers
headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"}
#构造请求
request = urllib.request.Request(url, headers = headers)
#发送请求
response = urllib.request.urlopen(request)
#获取html字符串
html_str = response.read().decode('utf-8')
print(html_str)

4、小结

1. urllib.request中实现了构造请求和发送请求的方法
2. urllib.request.Request(url,headers,data)能够构造请求
3. urllib.request.urlopen能够接受request请求或者url地址发送请求，获取响应
4. response.read()能够实现获取响应中的bytes字符串