拉勾网数据分析师薪酬分析
数据是拉勾网“数据分析师” 这一职位的信息。主要分析了数据分析师总体薪酬情况、不同城市薪酬分布、北京上海工作经验薪酬分布情况、北上广对数据分析职位需求量以及有招聘需求的公司所处行业的词云图分析。
步骤：
- 数据采集
- 数据清洗与处理
- 数据分析报告
- 分析结论
-
思考总结
image.png
数据部分暂时用的凡人求索的数据
数据形式如下：
image.png
数据的清洗与处理
读取数据
import pandas as pd
import numpy as np
#读取数据
df=pd.read_csv('E:/data/DataAnalyst.csv',encoding='gb2312')
df.head(5)
image.png
数据的工资部分应该进行处理，这里只是工资的一个区间，下面把工资处理称平均值形式
def cut_word(word,method):
position=word.find('-') #查找“7k-8k”这种形式"-"的位置
length=len(word)
if position !=-1: # "-1" 是False的意思，表示字符串中存在'-'
bottomsalary=word[:position-1]
topsalary=word[position+1:length-1]
else:
bottomsalary=word[:word.upper().find('K')] #这里是指不存在'10k-15k'这种形式，数据中存在7k以上，k有的大写有的小写
topsalary=bottomsalary
if method=="bottom": #获得工资下限
return bottomsalary
else:
return topsalary #获得工资的上限
df_duplicates = df_duplicates.copy() #副本要先拷贝一下才能修改
df_duplicates['topsalary'] = df_duplicates.salary.apply(cut_word,method="top") #apply()函数形式：apply(func,*args,**kwargs),*arg相当于元组，**kwargs相当于字典
df_duplicates['bottomsalary'] = df_duplicates.salary.apply(cut_word,method='bottom') #apply函数的作用：用来间接调用一个函数，并把参数传递给函数
df_duplicates.bottomsalary.astype('int') #字符串转为数值型
df_duplicates.topsalary.astype('int')
df_duplicates['avgsalary'] = df_duplicates.apply(lambda x:(int(x.bottomsalary)+int(x.topsalary))/2,axis=1) #lambda是匿名函数，例如lambda x:x+1,x是参数，x+1是表达式；axis=1表示作用于行
df_duplicates
image.png
数据分析
- 总体薪酬情况
df_clean=df_duplicates[['city','companyShortName','companySize','education','positionName','positionLables','workYear','avgsalary','industryField']]
import matplotlib.pyplot as plt
%matplotlib inline
plt.style.use("ggplot") #使用R语言中的ggplot2配色作为绘图风格
from matplotlib.font_manager import FontProperties #%matplotlib.Font_manager 是一种字体管理工具
zh_font = FontProperties(fname="C:\\WINDOWS\\Fonts\\simsun.ttc") #matplotlib.Font_manager.FontProperties(fname) 是指定一种字体，C:\\WINDOWS\\Fonts\\simsun.ttc 是字体路径，直接复制到电脑搜索，你看能不能找到。
fig=plt.figure(figsize=(8,5))
ax = plt.subplot(111)
rect=ax.hist(df_duplicates['avgsalary'],bins=30)
ax.set_title(u'薪酬分布',fontProperties=zh_font)
ax.set_xlabel(u'k/月',fontProperties=zh_font)
plt.xticks(range(5,100,5)) # xticks 为x轴主刻度和次刻度设置颜色、大小、方向，以及标签大小。
image.png
从上面的图中，可以看出这是一个右分布。大多数10-25k每月，当然也是只有少数人获得了更高的薪酬。
- 不同城市薪酬分布情况
ax = df_clean.boxplot(column='avgsalary',by='city',figsize=(9,7))
for label in ax.get_xticklabels():
label.set_fontproperties(zh_font)
image.png
北京市薪酬分布中位数大约在20k，居全国首位。其次是上海、杭州、深圳，中位数大约为15k左右，而光州中位数大约为12k。
- 不同学历的薪酬分布
ax = df_clean.boxplot(column='avgsalary',by='education',figsize=(9,7))
for label in ax.get_xticklabels():
label.set_fontproperties(zh_font)
可以看出学历越高薪资越高，博士遥遥领先。但是在top区域不如不如本科和硕士，分析可能存在问题，看一下招聘人数。
df_clean.groupby(['city','education']).avgsalary.count().unstack() #unstack()函数可以进行行列转置
image.png
上图中表示能明确要求博士岗位学历的只有上海3个，北京2个，深圳1个.
如果数据没有错误，可能有以下两点原因1.学历高的数据分析师比较稀缺，它们不通过网站找工作，二十被一些公司挖走了。2.高学历的研究生博士可能就不做数据分析了，可能从事数据挖掘、大数据分析架构或人工智能方面了
- 北京上海工作经验不同薪酬分布情况
df_bj_sh=df_clean[df_clean['city'].isin(['上海','北京'])]
ax=df_bj_sh.boxplot(column='avgsalary',by=['workYear','city'],figsize=(19,6))
for label_x in ax.get_xticklabels():
label_x.set_fontproperties(zh_font)
image.png
从图中我们能够得出，对于工作一年以下的，上海和北京两个地方薪资基本一致，但是有能力的人在北京能够得到较高的薪水。对于工作1-3年的人，北京工资的中位数都要比上海的上四分位数要大了
- 北上广深对数据分析师职位需求量
def topN(df,n=5):
counts=df.value_counts() #value_counts()统计所有非零元素的个数
return counts.sort_values(ascending=False)[:n] # sort_values()对数据进行排序，ascengding设置升序或降序
df_bj_sh_gz_sz=df_clean[df_clean['city'].isin(['上海','北京','广州','深圳'])]
df_bj_sh_gz_sz.groupby('city').positionName.apply(topN)
image.png
观察北上广深的数据分析师职位数量，还是北京需求量比较大。
- 公司所处行业领域云图分析
分析结论
1.总体薪酬上来说，数据分析师职业的工资普遍较高，大多人是在10-25k之间每月。
2.从不同城市薪资分布情况得出，北京的数据妇女稀释工资中位数在20k左右，全国之首。其次是上海
杭州、深圳
3.从不同学历薪资情况得出，学历越高发展获得工资是越高。
4.根据北京上海工作经验不同薪酬分布情况，如果有些工作经验区北京比上海获得的工资要高一些。
4.分析北上广深数据分析师职位需求数量，北京以238个获得最高
