美文网首页
爬虫07day

爬虫07day

作者: 迷路了吗_67f1 | 来源:发表于2019-02-24 20:00 被阅读0次
    什么是pyquery?

    是jquery的python的python实现,同样可以从html文档中提取数据 ,易用性和解读行都很好。

    find(selector) : 使用css选择器查找
    filter(selector) : 根据id或者class过滤节点
    直接对pyquery对象使用css选择器查找节点
    .eq(index) : 根据索引获取指定的节点(从0开始)
    .text(): 获取节点的文本
    .attr('属性名') :获取节点的属性

    队列的使用:

    在线程中多用队列作为数据交换的方式,因为队列是线程安全的,python原声的lits,dict是非线程安全的,需要跟线程锁配合使用,所以正式因为队列是线程安全的,所以在线程中多用队列作为数据交换的方式

    print(que.full()) #判断队列是否满了
    print(que.empty()) #判断队列是否为空
    print(que.qsize()) #获取大小
    put()方法往队列中存值
    maxsize设置队列存放数据的最大值
    lock = threading.Lock() 创建锁
    lock.acquire() 加锁
    lock.release() 解锁

    创建线程

    target:线程要执行的目标函数
    name:给线程起一个名称
    args:传参数(元组)
    kwargs:传参数(字典)

    创建线程锁:

    保护资源,添加了线程锁之后,同一时刻只能有一个线程在修改资源

    相关文章

      网友评论

          本文标题:爬虫07day

          本文链接:https://www.haomeiwen.com/subject/klibyqtx.html