1.urlib库是Python自带的访问网络的模块。在Python2中和Python3中有区别，最大的差别：
python2中：urlib库分为urlib和urlib2这2个库；
Python3中：统一为urlib模块了，其中urlib.request约等于python2中的urlib库，urlib.parse约等于python2中的urlib2库。
2.urlib.request中常用的有2个方法：urlopen和urlretrieve。
打开网址response = urlib.request.urlopen(url=网址)返回值是一个对象，类型是http.client.HTTPResponse。
urlib.request.urlretrieve(url=网址，文件路径)可以直接把所给网址处的资源保存到本地。
3.urlib.parse中的：
quote(url)百分号编码；
unquote(url)百分号解码;
urlencode(dict)将字典拼接为参数同时完成百分号编码。
4.response中：read()、geturl()、getheaders()、getcode()、readlines()
response.read()得到的是二进制格式的字符串，二进制字符串和普通字符串可以相互转化。
response.geturl()根据响应内容也可以获取url
response.getheaders()获取头部信息，列表里有元组。dict(response.getheaders())把元组可以转换为字典，取值就方便了。
response.getcode()获取状态码
response.readlines()按行读取，也是二进制数据。
5.打开网址response = urlib.request.urlopen(url=网址)如果报错响应码400``时`，则尝试在url字符串最后面添加一个/```再重试。
6.构建请求头（反爬虫的关键一步）：
7.总的来说，如果我们在获取请求对象时，不需要过多的参数传递，我么可以直接选择urllib.request.urlopen（）;如果需要进一步的包装请求，则需要用urllib.request里的urlopen（）进行包装处理。
8.当使用代码去爬虫时，如果访问某一地址报错，则通常是没有真正模拟浏览器去访问。此时，请重点检查请求头中的内容。
通常不需要以下2点，有的话易出错：
'Accept-encoding':'gzip, deflate'表示是否是接收压缩后的数据格式
'Content-length':'120'表示接收的数据长度。
9.urllib.request.urlopen()给一个url会去发送请求。缺点是无法定制请求头。
urllib.request.Request()该类用来创建一个请求对象，可以设置请求头。
以上2种却无法满足更高级的需求：设置代理、设置cookie
10.使用handler和opener设置代理服务器然后去请求：
handler = urllib.request.ProxyHandler({'http':'代理IP:port'})
# 创建opener对象，后续使用opener.open()去发送网络请求即可
opener = urllib.request.build_opener(handler)
后续使用opener.open()去发送网络请求即可
11.XML是EXtensible Markup Lauguage可扩展标记语言的缩写。其设计宗旨就是来传输数据，而非显示数据，格式很类似HTML。不同的是，XML的标签没有被预定义，需要使用者自行定义，HTML不可以自定义标签。目前被用来传输数据的另一种主流格式json.
12.xpath用于在XML中通过路径表达式选取节点的语言。
安装xpath模块：pip3 install lxml
导入模块：from lxml import etree
13.xpath中，有7种类型的节点：元素、属性、文本、命名空间、处理指令、注释、文档（根）节点。爬虫中，常用的有3个：元素、属性、文本。
14.常用的路径表达式：
/表示从根节点选取；
//表示从匹配选择的当前节点选择文档中的节点，而不考虑他们的位置；
.表示选取当前节点；
./表示从当前位置开始向下查找子节点；
..表示选取当前节点的父节点；
@表示按属性选取；
nodename表示选取此节点名的所有子节点；
15.contains(attributeName, str)用来获取属性名中包含有指定字符串的节点；
start-with(attributeName, str)用来获取属性名中以指定字符串开头的节点；
16.获取文本：找到对应的节点后，只需要在后面加上/text()即表示获取文本；
17.获取属性值：找到对应的节点后，只需要在后面加上/属性名即表示获取属性值；例如：/href、/class、/id
18.xpath使用方式：将HTML文档变成一个对象，然后调用对象的方法去查找指定的节点。
一.本地文件
tree = etree.parse(文件名)
二.网络文件
tree = etree.HTML(网址字符串)
mat = tree.xpath("路径表达式")
注意：这里找到的匹配结果mat总是一个list。
网友评论