美文网首页我爱编程
Python爬虫实战-抓取拉钩招聘信息

Python爬虫实战-抓取拉钩招聘信息

作者: 加来依蓝 | 来源:发表于2018-04-10 19:00 被阅读31次

    爬取过程:

    1、获取数据:Requests

    2、解析数据:使用pandas的 DataFrame.from_dict ()

    3、保存数据:pandas


    步骤一:分析网页

    爬取拉钩招聘信息需要先登录,通过分析,爬取时需要的信息如下:

    url ='https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'

    请求首部:

    headers ={

    'Cookie': ......,

    'Referer': ......,

    'User-Agent': ......,

    }

    采用POST方法进行请求


    二、代码实现

    核心代码如下图所示,不过别忘了添加headers。

    调用方法示例: get_job_info(2, '数据','深圳')

    相关文章

      网友评论

        本文标题:Python爬虫实战-抓取拉钩招聘信息

        本文链接:https://www.haomeiwen.com/subject/czinhftx.html