从猎聘网爬取招聘职位信息，使用pandas对数据进行清洗，最后通过pyecharts完成可视化展示。
python职位地域薪酬情况.png
很早就动了跳槽的念头，也本打算上半年就离开已经待了3年的公司。结果新冠疫情一来，经济衰退逐渐从专家的预测变成残酷的现实。本来就对下一份工作很是迷茫，现在更不敢轻举妄动了。虽然今年的机会可能很少了，但还是可以透过分析招聘信息了解一下当前的形势。当然，主要还是想试试pyecharts这个库能做出什么效果的数据可视化图表。
本来学的财务专业，后来也会一点python，早就考过了CPA，Excel用的还算6，想来想去好像除了会整理各类数据，也不会做其他的了，所以就以python和财务分析分别作为关键词进行搜索，看看薪酬水平多少，以及如果回老家会是什么情况。
一、数据爬取及清理
完整代码：猎聘网职位信息爬取及可视化展示
具体代码就不po了，总结起来大概有几点：
1、猎聘网不知什么时候也开始有反爬虫机制了，所以最好使用requests.session保持登陆状态，并且完成一次爬取后sleep几秒，否则直接被网站封号一天。
2、数据清理的一些必要步骤不能省略，包括：去重，去缺失值，去异常值，数值类型转换。
3、pandas库处理过的数值型数据不能直接用于pyecharts库生成图表，需要转换为python默认的int或者float型。
4、pyecharts库的中文文档对如何使用各类图表有非常友好且详细的说明，比起matplotlib库实在方便太多。pyecharts示例库，pyecharts技术文档
二、Python职位分析
python职位年龄分布.png
上图只展示了少部分职位统计，因为绝大部分岗位对年龄的要求是“不限年龄”。不过对明确标注了年龄段的职位进行统计，对于python这类偏技术的工作，与大多数互联网职位相同，35岁仍然是一个主要的年龄门槛，更年长的程序员的确不太好找新工作。
python职位经验要求.png
大多数工作要求3年相关经验，一个人在行业里工作3年的时间，也基本上可以认为入了门，新公司的培训成本不会太高。
python职位学历要求.png
可能是因为在搜索职位时没有输入更多筛选条件，导致搜索结果虽然比较多，但是大部分工作对学历的要求并没有达到硕士以上，说明爬取到的结果并不算高端；也可以理解为曾经以”高端招聘“为营销买点的猎聘网，发布的职位信息中也充斥了许多”低端“岗位。
python不同岗位职位数量及薪酬水平.png
以上是对职位title进行关键词抽取并总结出10类岗位。平均月薪则是按照年薪除以12计算的。
大多数职位仍以不太明确的”python开发“为名进行发布，这类职位的职责描述也比较泛化，薪酬水平也处于中间。平均月薪最高的还是算法类岗位，毕竟对数学、计算机等硬科学的要求更高，但即便如此，年薪也没超过40w。
多说一句爬虫
现在网络上很多python课程都以爬虫为入门和卖点。我当年也是因为这个入的坑。但老实讲，爬虫本身的门槛真的很低，只要会调用成熟的第三方库，懂一点html语言，很快就能上手。而从整个数据分析的工作流程来讲，数据获取和清理是脏活累活，价值转换低。从图中也可以看出，专门招爬虫工程师的比例和薪资水平都不高。
python职位地域薪酬情况.png
因为想着可能回老家（从地图标记应该能知道笔者的籍贯了），所以特别把几个城市的薪资水平标记出来对比。
由于python通常还是会应用在新兴行业，因此工业城市对它的需求并不高，高薪资主要集中在北上广深，而成都的互联网、金融等行业的发展前景还是比较看好的，需求也会多些。
python数据岗位要求.png
最后，因为python的主要领域是在大数据领域，因此笔者筛选了“数据”岗位的职位描述信息并做文本分析。
可以看到，对于数据岗位的技能要求包括建模、数据库、系统，同时也要求能懂产品和业务，有项目经验，善于团队协作。
三、财务分析职位分析
不逐一分析了，直接上图，最后总结。
财务分析岗位年龄要求.png
财务分析岗位经验要求.png
财务分析岗位学历要求.png
财务分析各岗位职位数量及薪酬水平.png
财务分析岗位各地域薪酬情况.png
财务分析-财务经理岗位要求.png
1、年龄要求上，财务岗位明显比python这类技术工种更宽松。所以，公司财务也是一份暮气沉沉的工作。
2、3-5年工作经验是主流。
3、由于从样本中剔除了异常值，所以样本内薪资水平并不太高。
4、职位分布明显比python更广，且东部沿海地区较为集中。
5、从职位描述的词频来看，猎聘网的搜索结果跟我预想之间存在很大差异。我以为分析是侧重数据挖掘，而查询结果显示，企业更希望招聘有审计经验、熟悉国家法规政策的应聘者。
四、写在最后
对猎聘网的爬虫代码，其实去年这个时候就已经写好了，可能是碍于在python上使用matplotlib库实在太麻烦而且效果图也不好看，所以就一直没继续做。上周陆陆续续把pyecharts库的文档看了一遍，觉得用起来挺方便，才有动力把后面的事做完，也算了解一桩心事。
就像在分析中提到的，就个人项目而言（业务练手或者偶尔工作需要），对爬虫技能要求并不高。我今年重写了一遍爬虫也没花多长时间，期间还因为被网站封号导致两天登不上去。后面的数据清理和汇总计算，用Excel也能做，只是相比于写代码，在excel里操作单元格不仅麻烦而且不够优雅。
完成这些费了不少时间，但好像对现实又没啥帮助。就像前两天CSDN App推送了一篇用python统计京东胸罩销量对帖子，作者爬取里80w条数据，得出我国女性大部分罩杯是B。这个，真的需要80w条数据来说明吗？
所以，如果想跳槽，准备往哪里去呢？
网友评论