2020年疫情后期数据分析招聘近况分析

近几年数据分析领域非常热门，很多小伙伴都想转行数据分析，这里给大家爬取了某BOSS直聘网站的4000多条数据类岗位数据（北上广杭深），对数据类岗位的薪水、需求情况等做个分析，看看后疫情时期的数据类岗位的近况如何，给准备转行或者正在转行的小伙伴们一个参考，数据包含的字段如下:

下面我们就将对这些数据进行简单的分析，以及可视化。本文使用的工具是python、以及python的pandas库和numpy库。

阅读路线如下:

• 项目准备
• 理解数据
• 数据清洗

一:项目准备

先导入相关模块pandas, numpy第三方包，以及可视化需要的模块matplotlib.pyplot，WordCloud。项目中使用的数据是放到了咱们数据库mysql中，于是需要连接mysql和读取相关的数据，需要数据来做练习的话，可以联系要数据库账号密码

#导入相关模块
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import re  #正则表达式
from wordcloud import WordCloud  #词云
import warnings
warnings.filterwarnings('ignore') #通过警告过滤器进行控制是否发出警告消息。

#连接mysql
import pymysql
pymysql.install_as_MySQLdb()
from sqlalchemy import create_engine
engine=create_engine('mysql://frogdata01:fro#mysql@localhost:3306/frogdata?charset=gbk')

#读取数据
df=pd.read_sql_query('select * from Boss_analyst',con=engine)

二:理解数据

拿到数据的第一步，我们需要思考，我们需要从这批数据中获得那些信息？在分析之前，我们需要了解数据集中包含了哪些字段，各个字段代表的含义是什么：

• position-职位

• salary_range-薪水区间

• work_year-工作经验

• city-城市

• tag1-技能要求标签1

• tag2-技能要求标签2

• tag3-技能要求标签3

• tag4-技能要求标签4

• tag5-技能要求标签5

• company_name-公司名字

• text-公司规模

• company_type-公司类型

• company_welfare-公司福利

# 查看数据
  df.head()

先取出数据集中的前五行，可以看出数据的格式，可以明显看出来表中的position，salary _range, work_year, city, text, company_welfare字段存在冗余或者杂糅，以上字段数据都不干净，后续需要对其进行清洗，方便后续分析。

三:数据清洗

• 在了解数据的格式以及各个字段代表的含义之后，我们还需要知道数据的整体情况：

#观察数据的整体情况
df.info()

image.png
可以看出来总共有4482条数据。tag4, tag5, company_walfare列存在空缺数据，但是空缺的数据并不多，并且因为三个指标并不是我们分析的关键性指标，所以不做处理。

因为原始数据中可能存在重复数据，我们还需要对数据进行去重处理，结果发现有47条重复数据存在，删除重复数据之后，原数据集剩余4435条

#考虑到爬取的数据可能存在重复数据，此处做去重处理
df.drop_duplicates(inplace=True)
df.shape[0]

4435

知识点补充
获取df行数为：df.shape[0]
获取df列数为：df.shape[1]

• 将重复数据删除之后，还需要对各个字段进行观察，先对position字段观察：

#观察position字段
df.position.unique()

如果发现异常的数据，就需要对不相关的岗位进行去除，考虑到数据类的岗位有数据运营，数据挖掘，商业分析师，算法工程师，ETL工程师等，就需要对含有关键字的职位进行提取：

df=df.loc[df.position.str.contains('数据|分析|Data|算法|Bi|ETL')]
df.shape[0]

#打印结果如下:
3423

数据处理之后，我们来看下结果

df.position.unique()

array(['数据分析师 (MJ000102)', '数据分析师 - 审计', '数据分析师 (MJ000196)', ...,
       '销售助理/B端产品运营/数据运营—九堡区', '销售助理/B端产品运营/数据运营--萧山区', '货品数据运营专家'],
      dtype=object)

• 再查看salary_range字段，观察薪资情况：

数据不规整，观察发现大致存在以下三种格式：‘15-25K·13薪’、‘15-30K’、160-240元/天 ，可以把这一列的数据拆解分为两列：最低薪水、最高薪水，分别保存在两个字段。

#观察salary_range字段
df['salary_range'].unique()

数据拆解分为两列-最低薪水、最高薪水

def cut_word(word,types):
    
    #把数据规整为'xx-xx'格式
    position1=word.find('K')
    position2=word.find('元')
    #如果没有找到该元素，find会返回值-1
    if position1 != -1:  
        salary_range=word[:position1]
    elif position2 != -1:  
        salary_range=word[:position2]
    
    #拆分数据-最低薪水、最高薪水
    position3= salary_range.find('-')
    bottom_salary= salary_range[:position3]
    top_salary= salary_range[position3+1:]
    
    #传入types参数，接收最低薪水、最高薪水的数据
    if types == 'bottom':
        return bottom_salary
    else:
        return top_salary

#利用apply函数进行数据转化
df['bottom_salary']=df['salary_range'].apply(cut_word,types='bottom').astype('int')
df['top_salary']=df['salary_range'].apply(cut_word,types='top').astype('int')

df['bottom_salary'].unique()

df['top_salary'].unique()

Salary_range 字段清洗完毕

#新增平均薪水列，方面后面做统计分析
df['avg_salary']=df.apply(lambda x : (x.bottom_salary+x.top_salary)/2,axis=1)

# df.drop('salary_range',axis=1,inplace=True)
df.head()

• 再对work_year字段清洗

#观察work_year字段
df.work_year.unique()

work_year字段中学历和工作年限或要求数据混在了一起，可将其分为两列，分别放在两个字段。观察发现，学历有7种数据格式：学历不限、中专/中技、高中、大专、本科、硕士、博士。工作经验或工作时间要求有三种数据格式：x-x年、x天/周x个月、经验不限。

def cut_word1(word,types):
    #找到学历不限的学字，进行切片处理
    position1=word.find('学')
    #找到学历不限的大字，进行切片处理
    position2=word.find('大')
    position3=word.find('本')
    position4=word.find('硕')
    position5=word.find('博')
    position6=word.find('高')
    position7=word.find('中')
    
    #通过切片把数据规整为学历和工作经验两列数据
    if position1 != -1:  
        work_year=word[:position1]
        educational_background=word[position1:]
    elif position2 != -1: 
        work_year=word[:position2]
        educational_background=word[position2:]
    elif position3 != -1:
        work_year=word[:position3]
        educational_background=word[position3:]
    elif position4 != -1:
        work_year=word[:position4]
        educational_background=word[position4:]
    elif position5 != -1:
        work_year=word[:position5]
        educational_background=word[position5:]
    elif position6 != -1:
        work_year=word[:position6]
        educational_background=word[position6:]
    else:
        work_year=word[:position5-4]
        educational_background=word[position5-4:]
      
    #传入types参数，接收学历和工作年限的数据
    if types == 'education_background':
        return educational_background
    else:
        return work_year
    
#利用apply函数进行数据转化，将学历数据新添加到'education_background'列，工作经验数据新添加到'work_year'列
df['education_background']=df['work_year'].apply(cut_word1,types='education_background')
df['work_year']=df['work_year'].apply(cut_word1,types='work_year')

work_year字段已清洗完毕，转化为work_year和education_background两列数据

#work_year中存在2天/周3个月之类的数据，判断是实习/兼职职位，这边把全职和实习的岗位数据区分开来
df_part_time=df.loc[df.work_year.str.contains('天|周|月')]

df_part_time.position

df_part_time.work_year.unique()

其实对于实习生来讲，关键在于城市、行业、公司、职业发展方向的选择。我们这里主要分析的还是全职类岗位情况，所以暂时不探索实习类岗位的情况。可先去除实习类数据。

#全职岗位
df_full_time=df.loc[~df.work_year.str.contains('天|周|月')]

df_full_time.work_year.unique()