request

如果要添加请求头,就需要创建一个request对象

from urllib import request
设置请求头信息
常见的请求头参数一般有三个：User_Agent,refere,cookie,

根据请求头，创建一个request对象

url:要请求的目标url
data=None: 如果为None,表示为一个get请求，反之，为post请求
headers={}：设置请求头参数，对应的是个字典类型的数据
method=None: 设置请求方式（GET或者POST）
req = request.Request(url=req_url,headers=req_headers,method='GET')

另一中方式添加请求头

req.add_header('Referer','[http://www.eduxiao.com/'](http://www.eduxiao.com/'))

获取request对象请求头中的设置的参数

refere = req.get_header('Referer')
print(refere)

根据构建的request对象，发起请求

response = request.urlopen(req)

获取状态码 ： print(response.status)
获取 html 文本内容 ： print(response.text)

写入本地

html_str = response.read().decode('utf-8')
with open(filename,'w') as file:
print('正在写入' + str(i) + '页')
file.write(html_str)