Pyspider基本使用

pyspider web爬虫框架简单使用

pip3 install pyspider

在桌面创建一个pyspider的文件夹，在里打开终端，然后开启

pyspider all

浏览器进入0.0.0.0:5000

Create新建一个项目

pyspider爬虫的主类，在这里进行爬取，解析和存储数据
crawl_config里面的参数做全局的设置(UA,Headers,proxy都可以设
置)

from pyspider.libs.base_handler import *
import json
import pymongo,pymysql

#pyspider爬虫的主类，在这里进行爬取，解析和存储数据
class Handler(BaseHandler):
    #在这个参数中可以做全局的设置(UA,Headers,proxy都可以设置)
    crawl_config = {
        'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:64.0) Gecko/20100101 Firefox/64.0'
    }
    
    #创建mongodb数据库链接
    mongo_client = pymongo.MongoClient('127.0.0.1',27017)    
    #获取要操作的数据库
    db = mongo_client['lianjia']
    #获取数据库下的集合
    col = db['lianjiacol']
    
    
    #创建mysql数据库链接
    mysql_cli = pymysql.Connect('127.0.0.1','root','1234','lianjia',3306,charset='utf8')
    #创建游标
    cursor = mysql_cli.cursor()

发起请求的

    #定时每隔一天进行重复请求，重新执行on_start方法
    @every(minutes=24 * 60)
    def on_start(self):
        #crawl:根据crawl发起请求
        self.crawl('https://bj.lianjia.com/ershoufang/', callback=self.index_page)

self.crawl里面常用的参数

• url
  需要爬取的url列表
• callback
  这个参数用来指定爬取内容后需要哪个方法来处理内容．一般解析为 response. default:
• age
  任务有效期，以秒为单位
• priority
  爬取优先级，数字越大优先级越大
• exetime
  爬取任务定时，默认为0，就是即时爬取，
• retries
  失败重新执行次数，默认3次
• itag
  任务标记值，此标记会在抓取时对比，如果这个值发生改变，不管有效期有没有到都会重新抓取新内容．
• method
  HTTP请求，默认为GET
• params
  URL后面的请求参数，字典
• data
  POST请求参数
• proxy
  设置代理服务器
• save
  传递一个对象给任务，在任务解析时可以通过response.save来获取传递的值

用css获取数据
response.doc:是一个pyquery对象
response.etree:返回的是一个lxml提取每一个房源的详情url地址,hourse_infos是pyquery对象，需要.item()转化成可迭代的

    #十天之内不重复爬取
    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        #response.doc:是一个pyquery对象
        #response.etree:返回的是一个lxml
        #提取每一个房源的详情url地址,hourse_infos是pyquery对象，需要.item()转化成可迭代的
        hourse_infos = response.doc('ul.sellListContent li.clear.LOGCLICKDATA')
        for hourse in hourse_infos.items():
            detail_url = hourse('div.title a').attr.href
            self.crawl(detail_url,callback=self.detail_page)#发起请求，设置回调方法

下一页请求
还在index_page方法里面提取下一页请求，回调自身

        #提取下一页发起请求
        data = response.etree.xpath('//div[@class="page-box house-lst-page-box"]/@page-data')[0]
获取page-box house-lst-page-box下面的page-data,里面有个json串，有curPage和totalPage,接下来取值，构造下一页请求
        json_data = json.loads(data)
        cur_page = int(json_data['curPage'])
        total_page = int(json_data['totalPage'])
        if cur_page <= total_page:
            #发起下一页请求
            next_page = cur_page +1
            next_url = 'https://bj.lianjia.com/ershoufang/pg%s/'%str(next_page)
            self.crawl(next_url,callback=self.index_page)

    @config(priority=2)
    def detail_page(self, response):
        print('二手房详情获取成功')
        #获取详情页数据
        info = {}
        #标题（获取标题的属性和文本）
        info['title'] = response.doc('h1.main').attr.title
        #info['title'] = response.doc('h1.main').text()　
        
        #其他信息
        info['subTitle'] = response.doc('div.sub').text()
        
        #关注人数
        info['attenNum'] = response.doc('#favCount').text()
        
        #看过人数
        info['seeNum'] = response.doc('#cartCount').text()
                
        #价格
        info['totalPrice'] = response.doc('div.price .total').text()
                        
        #单价
        info['price'] = response.doc('span.unitPriceValue').text()
                
        #规模
        info['model'] = response.doc('div.room .mainInfo').text()
        
        #楼层
        info['foolr'] = response.doc('div.room .subInfo').text()
        
        #小区
        info['communityName'] = response.doc('div.communityName a.info ').text()
        
        #print(info)
        return info

detail_page方法中return的结果会执行on_result

执行代码run的时候第一次值是None,所以要判断一下是否有值再存进数据库

    #方法中return的结果会执行on_result
    def on_result(self,result):
        #可以在这里做数据的持久化
        print('获取到的结果',result)

        if result:
            try:
                #mongodb数据库存储
                self.col.insert(result)
                
                #mysql数据库储存
                #sql = """
                #INSERT INTO lianjiadb(%s) VALUES(%S)
                #"""%(','.join(result.keys()),','.join(['%s']*len(result)))
                
               # data = list(result.values())
                #self.cursor.execute(sql,data)
                print('数据存储成功')
            except Exception as err:
                print('数据存储失败',err)

run测试好代码，确保可以存入数据库，然后保存好，返回上级菜单，刷新当前页面

Screenshot from 2019-01-09 19-51-54.png

• status状态：
  TODO运行
  STOP停止
  CHECKING检查
  DEBUG运行
  RUNNING运行

• actions行动
  Run运行

• rate/burst速率
  第一次开始的速度，和之后的速度，可以更改

• progress 记录
  按时间点的记录

• 删除项目
  将group改成delete,然后status 改成STOP,等待24小时自动删除

scheduler -> fetcher -> processor
　　　 |
　　phantomjs
　　　|
　　 internet

调度器－>动态页面用fecher无头浏览捕获，然后用phantomjs加载，解析－>输出

Response

Response.url获取当前url地址
Response.text获取文本
Response.content二进制数据
Response.doc获取pyquery对象
Response.etree获取lxml对象，使用xpath语法
Response.json 获得的是json串，直接用response.json转成python数据
Response.status_code状态码
Response.orig_url原始url地址
Response.headers 响应头
Response.cookies　
Response.err错误信息
Response.time发起请求到获得请求的响应时间
Response.ok　状态，不是200就报错
Response.encoding 获取编码类型
Response.save　传递
Response.js_script_result 　获取js执行之后的结果
Response.raise_for_status()　如果状态结果不是200

catch_status_code_error

如果发起的请求得到的状态不是200,就不会走回调方法，加上也会走回调，捕获错误状态码

def on_start(self):
    self.crawl('http://httpbin.org/status/404', self.callback)

@catch_status_code_error  
def callback(self, response):
    ...

every

定时爬取

@every(minutes=24 * 60)
def on_start(self):
    self.crawl('http://www.example.org/', callback=self.index_page)

@config(age=10 * 24 * 60 * 60)
def index_page(self):
    ...