前言 Python关于爬虫的库挺多的，也各有所长。了解前端的也都知道， jQuery 能够通过选择器精确定位 DOM 树中的目标并进行操作，所以我想如果能用 jQuery 去爬网页那就 cool 了。 Python 有没有与 DOM 相关的库什么的？—— PyQuery
PyQuery简介
pyquery相当于jQuery的python实现，可以用于解析HTML网页等。它的语法与jQuery几乎完全相同，对于使用过jQuery的人来说很熟悉，也很好上手。 引用作者的原话就是：
“The API is as much as possible the similar to jquery.” 。
安装
pip3 install pyquery
- pyquery 依赖于 lxml ，要先安装 lxml ，否则会提示失败。
pip3 install lxml
初始化 有 4 种方法可以进行初始化： 可以通过传入 字符串、lxml、文件 或者 url 来使用PyQuery。
from pyquery import PyQuery as pq
from lxml import etree
d = pq("<html></html>")#传入字符串
d = pq(etree.fromstring("<html></html>"))#传入lxml
d = pq(url='http://google.com/') #传入url
d = pq(filename=path_to_html_file) #传入文件
现在，d 就像 jQuery 中的 $ 一样了。
示例 通过一个简单的例子快速熟悉 pyquery 的用法，传入文件 example.html，内容如下：
<div>
<tr class="item-0">
<td>first section</td>
<td>1111</td>
<td>17-01-28 22:51</td>
</tr>
<tr class="item-1">
<td>second section</td>
<td>2222</td>
<td>17-01-28 22:53</td>
</tr>
</div>
python代码:
image.png
1、.html()和.text() 获取相应的 HTML 块或者文本内容，
p=pq("<head><title>Hello World!</title></head>")
print (p('head').html())# 获取相应的 HTML 块
print (p('head').text())# 获取相应的文本内容
'''输出：
<title>hello Word</title>
Hello World!
'''
2、.('selector')：通过选择器来获取目标内容，
d = pq("<div><p id='item-0'>test 1</p><p class='item-1'>test 2</p></div>")
print (d('div').html())# 获取 <div> 元素内的 HTML 块
print (d('#item-0').text())# 获取 id 为 item-0 的元素内的文本内容
print (d('.item-1').text())# 获取 class 为 item-1 的元素的文本内容
'''输出：
<p id="item-0">test 1</p><p class="item-1">test 2</p>
test 1
test 2
'''
3、.eq(index)：根据索引号获取指定元素（index 从 0 开始），
d = pq("<div><p id='item-0'>test 1</p><p class='item-1'>test 2</p></div>")
print (d('p').eq(1).text())# 获取第二个 p 元素的文本内容，
'''输出
test 2
'''
4、.find()：查找嵌套元素，
d = pq("<div><p id='item-0'>test 1</p><p class='item-1'>test 2</p></div>")
print d('div').find('p') # 查找 <div> 内的 p 元素
print d('div').find('p').eq(0) # 查找 <div> 内的 p 元素，输出第一个 p 元素
'''输出：
<p id="item-0">test 1</p><p class="item-1">test 2</p>
<p id="item-0">test 1</p>
'''
5、.filter()：根据 class、id 筛选指定元素，
d = pq("<div><p id='item-0'>test 1</p><p class='item-1'>test 2</p></div>")
print d('p').filter('.item-1') # 查找 class 为 item-1 的 p 元素
print d('p').filter('#item-0') # 查找 id 为 item-0 的 p 元素
'''输出：
<p class="item-1">test 2</p>
<p id="item-0">test 1</p>
'''
6、.attr()：获取、修改属性值，
d = pq("<div><p id='item-0'>test 1</p><a class='item-1'>test 2</p></div>")
print d('p').attr('id') # 获取 <p> 标签的属性 id
print d('a').attr('class','new')# 修改 <a> 标签的 class 属性为 new
'''输出：
item-0
<a class="new">test 2</a>
'''
7、其他操作：
.addClass(value)：添加 class；
.hasClass(name)：判断是否包含指定的 class，返回 True 或 False；
.children()：获取子元素；
.parents()：获取父元素；
.next()：获取下一个元素；
.nextAll()：获取后面全部元素块；
.not_('.selector')：获取所有不匹配该选择器的元素；
for i in d.items('li'):
print i.text()：遍历 d 中的 li 元素
网友评论