爬取过程:
1、获取数据:Requests
2、解析数据:使用pandas的 DataFrame.from_dict ()
3、保存数据:pandas
步骤一:分析网页
爬取拉钩招聘信息需要先登录,通过分析,爬取时需要的信息如下:
url ='https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'
请求首部:
headers ={
'Cookie': ......,
'Referer': ......,
'User-Agent': ......,
}
采用POST方法进行请求
二、代码实现
核心代码如下图所示,不过别忘了添加headers。
调用方法示例: get_job_info(2, '数据','深圳')
网友评论