美文网首页IOSAndroid开发程序员
30分钟写出一个51job职位爬虫,0基础小白也能写

30分钟写出一个51job职位爬虫,0基础小白也能写

作者: 月球在此 | 来源:发表于2018-03-23 21:37 被阅读237次

    30分钟写出一个51job职位小爬虫,小白也能写的出来,不用懂正则, 不用懂xpath,分分钟写出来,大神走开

    前提环境:你的电脑里装过python 2/3 和 pip(python包管理工具)

    • 第一步: 命令行输入 sudo pip install scrapy
      安装scrapy,scrapy是一个非常流行的爬虫框架使用简单,这一步你网速够快5秒搞定
    • 第二步:命令行输入 scrapy startproject my51JobSpider
      创建了一个scrapy叫 my51JobSpider,看看目录,创建成功,耗时1秒
    ├── README.md
    └── my51JobSpider
        ├── my51JobSpider
        │   ├── __init__.py
        │   ├── __pycache__
        │   ├── items.py
        │   ├── middlewares.py
        │   ├── pipelines.py
        │   ├── settings.py
        │   └── spiders
        │       ├── __init__.py
        │       └── __pycache__
        └── scrapy.cfg
    

    下面来简单介绍一下各个主要文件的作用:

    scrapy.cfg :项目的配置文件
    / :项目的Python模块,将会从这里引用代码
    items.py :项目的目标文件
    pipelines.py :项目的管道文件
    settings.py :项目的设置文件
    spiders/ :存储爬虫代码目录

    Snip20180323_15.png
    • 第三步:进入spiders目录下输入 scrapy genspider mainSpider "51job.com"
      目录下创建一个名为mainSpider的爬虫,并指定爬取域的范围是"51job.com",当你敲的比较慢吧,给你1秒钟
      进入目录看看里面现在有什么吧


      Snip20180323_17.png

    start_urls = () :爬取的URL元祖/列表。爬虫从这里开始抓取数据,所以,第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。

    parse(self, response) :解析的方法,每个初始URL完成下载后将被调用,调用的时候传入从每一个URL传回的Response对象来作为唯一参数,主要作用如下:

    负责解析返回的网页数据(response.body),提取结构化数据(生成item)
    生成需要下一页的URL请求。

    • 第四步:我们现在分析一个51job的结构
      下图是各个职位类型的入口


      image.png

      这时候我们需要用到两个神器 chrome浏览器和XPath Helper插件,别说你没chrome,下载一个呗
      不会正则和XPATH怎么爬呢,重点来了!!!!

      右击 image.png
      打开XPath Helper插件
      image.png
      现在你的屏幕应该是这样的
      image.png

      我们选择要爬取的连接


      image.png
      右击标签->copy->copy xpath,我们会得到一串神奇的字符
      /html/body/div[5]/div[2]/div[1]/a[1]
      Snip20180323_31.png
      输入xpath 插件
      image.png
      很显然这不是我们想要的链接,介绍一个xpath语法,在后面加上/@xxx,就代表获取这个表情的xxx属性,我们试试
      /html/body/div[5]/div[2]/div[1]/a[1]/@href
      image.png
      ok这样就获取到了我们想要的链接,但是只有一条,再来说明一下xpath第二个重要的语法,//xxx代表获取这个层级下所有的xxx标签,我们继续改造
      /html/body/div[5]/div[2]//div//a/@href
      image.png

      搞定!
      写行代码

        def parse(self, response):
            liststype = response.xpath('/html/body/div[5]/div[2]//div//a/@href')
            for url in liststype:
                print url.extract()
    

    运行看看效果~~~~~ 兜兜转转介绍了很多基础知识 ~~~ 10分钟过去了


    Snip20180323_28.png
    • 第五步:殊途同归
      //[@id="resultList"]/div[4]/p/span/a/@href
      同样道理改造一下
      //
      [@id="resultList"]//div/p/span/a/@href

      image.png
      除了内容我们还要获取一下页码的链接
      //[@id="resultList"]/div[55]/div/div/div/ul/li[3]/a
      同样道理改造一下
      //
      [@id="resultList"]/div[55]/div/div/div/ul//li/a/@href
      5分钟~~~ 瑟瑟发抖~~~
      image.png
    • 第六步:终极对决
      终于到了我们最后一关啦.额..最后一页


      image.png

      同样道理获取我们想要的信息,大家都很聪明应该能明白的~ 5分钟应该够了吧
      职位名称 = '/html/body/div[3]/div[2]/div[2]/div/div[1]/h1/text()'
      地区 = '//span[@class="lname"]/text()'
      薪资 = '/html/body/div[3]/div[2]/div[2]/div/div[1]/strong/text()'
      经验 = '/html/body/div[3]/div[2]/div[3]/div[1]/div/div/span[1]/text()'
      雪咯 = '/html/body/div[3]/div[2]/div[3]/div[1]/div/div/span[2]/text()'

    • 第⑦步:把代码补全
      强行9分钟~~

        def parse(self, response):
            liststype = response.xpath('/html/body/div[5]/div[2]//div//a/@href')
            for url in liststype:
                yield scrapy.Request(url=url.extract(),callback=self.parseSearch)
    
            pass
        def parseSearch(self,response):
            listsjob = response.xpath('//*[@id="resultList"]//div/p/span/a/@href')
            listpages = response.xpath('//div[@class="p_in"]/ul/li/a/@href')
            for page in listpages:
                yield scrapy.Request(url=page.extract(),callback=self.parseSearch)
            for url in listsjob:
                yield scrapy.Request(url=url.extract(),callback=self.parseDesc)
            pass
    
        def parseDesc(self,response):
            context= response.text
            title = response.xpath('/html/body/div[3]/div[2]/div[2]/div/div[1]/h1/text()').extract()[0]
            area = response.xpath('//span[@class="lname"]/text()').extract()[0]
            money = response.xpath('/html/body/div[3]/div[2]/div[2]/div/div[1]/strong/text()').extract()[0]
            exp = response.xpath('/html/body/div[3]/div[2]/div[3]/div[1]/div/div/span[1]/text()').extract()[0]
            study = response.xpath('/html/body/div[3]/div[2]/div[3]/div[1]/div/div/span[2]/text()').extract()[0]
            all = response.xpath('/html/body/div[3]/div[2]/div[2]/div/div[1]/p[2]/text()').extract()[0]
            lists = all.replace(' ','').replace('\r','').replace('\t','').split('|')
            company = lists[0]
            people = lists[1]
            type = lists[2]
    
            print (title)
            item = My51JobspiderItem()
            item['title'] = title
            item['area'] = area
            item['money'] = money
            item['company'] = company
            item['people'] = people
            item['type'] = type
            item['study'] = study
            item['exp'] = exp
            yield item
            pass
    

    看看效果~~ good


    image.png

    总结:

    娱乐贴~~ 给大家多一个无聊时的乐趣,xpath还是有很多语法需要学习,还有scrapy,有问题直接问,保证回答但是不许骂我,还有建议大家不要在繁忙时间随便爬,友好一点,凌晨两三点去偷偷的干
    github地址:https://github.com/CZXBigBrother/51JobSpider

    相关文章

      网友评论

        本文标题:30分钟写出一个51job职位爬虫,0基础小白也能写

        本文链接:https://www.haomeiwen.com/subject/wuvtcftx.html