简介
用node.js写了一个简单的小爬虫，用来爬取拉勾网上的招聘信息，共爬取了北京、上海、广州、深圳、杭州、西安、成都7个城市的数据，分别以前端、PHP、java、c++、python、Android、ios作为关键词进行爬取，爬到的数据以json格式储存到本地，为了方便观察，我将数据整理了一下供大家参考
数据结果
数据汇总
一线城市各职位对比
北京各职位数量对比
上海各职位数量对比
广州各职位数量对比
深圳各职位数量对比
杭州各职位数量对比
爬取过程展示
控制并发进行爬取
爬取到的数据文件
json数据文件
爬虫程序
由于这个爬虫程序比较简单，所以并没有贴代码，只是将大体思路分享一下，想看代码的朋友可以去我的github上查看
实现思路
请求拉钩网的https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=关键词&pn=页数地址，拉钩会返回一个包含所要请求职位信息的数据，返回的数据为json格式，所以省去了使用cheerio去解析网页，直接用superagent来请求上述地址，其中参数city是为城市，kd为所要搜索的关键词，pn为要请求的页数，成功返回数据后，将数据储存在本地即可。其中使用了async来控制并发数量，使得并发数不超过3，防止被封ip
代码地址及使用
- github：https://github.com/zsqosos/positionAnalysis
- 代码请在github上查看，使用该程序需要安装node环境，如果觉得还不错的话烦请给个star
网友评论