找工作的时候爬一下招聘网站，大致上就可以了解一下目前所在地区的招聘情况，也更有针对性的去投简历。在开始之前先要感谢以下这篇文章的作者（点击可见源码），在网站上分享了一个python3可用的定向小爬虫。自己还是一个爬虫的入门者，正因为有了他们的付出我才能节省下碰壁的时间去尽快实现想法。
对源码的修改
如上所述，我是直接拿现成的python代码来使用，但那篇文章作者的代码有部分字段是舍弃了的，所以需要修改一下为我所用。
修改url的目标城市
这里只需要修改"city="后面的部分就可以，提供一个简单的方法就是用chrome或者firefox打开拉勾，按f12进入开发者工具，点击Network菜单下的XHR（演示的是chrome)
点选你要了解的城市，如“珠海”，点击搜索后应该会出来四个文件，我们要的是postitionAjax.json这个文件，点击打开后会看到Request URL的字样，后面部分就是我需要的城市的转码了。
修改我所需的字段
原来的代码中只是根据作者的需要保留着以下字段，但我想了解的不止这部分的内容，于是继续向json传过来的数据下手
将json的数据用格式化校验工具整理一下之后发现几个感兴趣的字段
这两个分别对应的是职位发布的时间跟职位的职能分类，加上自己需要的类型之后就可以下一步的修改了
更改文件保存路径
为了省事我改成了项目文件夹的根目录，而不是原来的桌面路径，也可以根据需要另外设定目录
去掉输入类型的提示
代码本身是为了了解不同编程语言的信息，而我主要是想了解总体的状况，因此这一部分我并不需要每次变更，于是改成了关键字为空，这样提交过去则是搜索全部的招聘信息
开始抓取
程序运行部分没有太大的问题，顺利运行后会抓取到30页的招聘信息并且保存成excel的文档，打开会有错误的提示，但是继续点击后会发现数据是有的。需要注意的是拉勾做了限制，只能看30页的信息，所以在发布量比较大的城市如果想要获取完整的信息的话需要再对源码做修改，如增加定时执行之类，我这里不作展开。
原始数据的处理
到手的数据是这样的，主要是将时间部分做格式化，将多份excel表格合并去重，最后共获得共105个企业发布的523个岗位招聘信息
数据分析
所得数据起止时间分布为2016/4/18 9:45:49 - 2016/4/22 18:27:54，由于时间跨度不长，所得的结论仅供参考
看来HR们都主要集中在周二、周三、周五发招聘信息（大概周一都要开会？周四约人面试吗？）
至于发布时间则主要集中于早上上班的9-12点以及下午的15-16点，还有部分敬业的hr们晚上9点多还在发信息（真是辛苦了）
在这523个岗位需求中，技术类的岗位需求比其他所有类型岗位需求的总和还多，所以在珠海技术类工种还是很大的需求缺口
大家都很关心的薪酬方面，产品的平均起薪达到了10k左右，而运营类岗位只有一半，与市场销售等岗位持平
105个企业中，初创型的企业接近6成，说明机会还是很多的
果然，初创型公司的招聘需求占据了半壁江山（汪半壁作何感想？）
公司的成长阶段对职位需求类型的变化，可以看到随着企业成长，对技术的需求会越来越高，相对的对市场及销售、运营等职能的岗位需求则降低，开来此时企业更注重提高自身产品的竞争力
除去上市公司，剩余87个企业，其中59个初创型企业中，约一半未融资；而到了成长型企业中则有一半是不需要融资的，大概是有了稳定的盈利模式以后融资则显得不是那么重要了
企业的职位诱惑前十位，带薪年假占据了福利榜首（这算哪门子诱惑— —|||）
发布招聘需求前10位的企业，果然大魅族在珠海是招聘大户
运营类的招聘前十位，看来YY对运营的需求比较大
再看看魅族的招聘，HR们的发布也似乎没有很特别的规律
还是以技术类岗位的需求还是远超其他类型的总和，运营的岗位只有一个QAQ
在找工作的时候，不妨分析一下当前的总体招聘情况，才更有针对性的了解目前企业的需求是什么。
在后续针对单个企业的爬虫中，我定位到了单个企业的招聘信息都是由searchPosition.json返回的，但是按照参考文章的代码去改后，请求地址却返回错误。由于爬虫方面自己还是入门很多都不懂，目前还在研究中，如果研究到了我还会继续分析下去的。
网友评论