python爬取boss直聘职位数据，并保存到本地

基本环境配置

1、requests，用于模拟http/https请求

安装： pip install requests

2、beautifulsoup4，用于解析网页，得出我们想要的内容。

安装： pip install beautifulsoup4

3、xlwt，将爬到的结果以Excel的形式保存到本地

安装： pip install xlwt

api： xlwt api

打开网页

首先打开boss直聘官网，选择一个地点，然后输入关键字，点击搜索，这里以深圳、python为例。

观察地址栏URL，可以发现有四个参数，分别是query,city,industry和position，query和city很明显是我输入的python和选择的地点深圳；而industry和position也就是公司行业和职位类型，这里没有选择这两项。

分析网页

F12打开开发者工具

每一条职位信息都在一个<li>标签中，<li>标签下的<div class=“job-primary”>就是我们要找的内容。

代码

获取城市编码

url中的city=101280600，显示的是深圳，说明城市名有一个对应的编号，F12 点击Network选中XHR，有一个city.json

完整代码