题记
之前一直说要分析拉勾网的数据就去学了爬虫,学习爬虫的过程还是很有意思的,写了很多小玩意也遇到很多问题,把学习过程记录在博客里,还意外还赚了点点击量。(貌似有点跑题了,好了,我们回来)今天终于可以把分析报告写出来了。
Ps.想学爬虫的朋友可以去我的主页翻python爬虫系列文章,有图片,豆瓣,还有拉勾网爬虫的教程哈
拉勾网数据说明
拉勾网的数据麻烦在是动态加载的,加上对显示数据有很强的限制,所以不可能爬下来完整的数据。(最近拉勾网是一次搜索最多显示30页,每页15条,这加起来一次搜索也就500条信息不到,但是通过查看网络请求,可以发现,拉勾网一次搜索提供的数据是5000多条。)
所以我是通过多关键次多次爬取。采用的是拉勾首页提供的关键词,加上自己的添加。关键词列表如下(只涉及大部分的技术岗):
数据量
总共数据量一共4w多条。分析直接采用的现成的统计工具(数说立方)生成结果,还挺方便。
工资处理
由于拉勾网的工资数据是采用的工资范围的显示方式:20k-50k
所以我记录了最小值
和最大值
,平均值
直接采用最小值
和最大值
的平均(当然这肯定不准确,但是也有一定的参考意义)
分析报告
好了,我知道大部分人只关注这一部分:'
总体岗位需求
我列出了前20位的岗位需求,先看图:
明显需求最大的还是java
,PHP
,Android
3者均爆表(>=5000),.Net
,iOS
紧跟其后。Pytho
n的寻求和c#
差不多,还高一点。大数据
和数据挖掘
这两个关键词的职位目前需求也很旺盛,这和目前大家的预期都还是挺一致的。
这里发现前两年火的云计算
需求没那么旺盛,哪怕加上Hadoop
都没破千(理论上都不能用加),这点还是挺出乎我意料外
的。Node.js
我觉得目前需求小了点,但是我还是对其保持乐观的看法。
html5
目前需要也比较旺盛,前景还是很乐观的嘛。
这里有意思的是C在C++前面,然后我看了看C的都是什么职位,然后我就懂了,也很好理解,搜C关键词肯定会把C++带上。目前招C大部分是C/C++一起招的,纯C的还是少。
岗位平均工资
我们看看前20的岗位工资情况:
这里基本和需求调了个,工资最高的是
推荐
,机器学习
,搜索
,自然语言处理
,docker
,大数据类
,语音识别
,这个很符合目前市场的预期,在大数据,机器学习还有人工智能的大背景下,推荐,搜索,还有自然语言处理借势自然会火一把。(相关专业的同学请吃饭好不好??)
这里值得注意的是中间件火了。我记得刚听到这个词还是大四的时候,听国外大学教授介绍docker,他说:“国外这个已经非常火了,中国总是落后国外几年,今后这个会火的。”
我当时还不信,我现在信了。虽然岗位需求还没上来,但是,工资已经先上来了。
工资平均最大值
最大值的平均值平均要提高5k左右,最高的还是那几个。
语言类需求
没太多出乎意料的地方
语言类平均工资
Go
,python
,ruby
三大脚本语言领先。js
超过了java
,虽然考虑需求量依然是java需求量大,但是脚本语言前途还是挺光明的,至少目前的趋势下,你得至少会一门脚本语言。
非语言类需求
依旧是数据类占大头
城市岗位需求
不出意外"北上广深杭" 依然占据前5,不过我没想到北京会拉别的城市那么多。还有,技术岗需求中杭州
超过广州
了也。(当然这个数据毕竟不是完整的数据)
城市工资情况
工资前几名还是北京
,上海
,深圳
,香港
,杭州
明显高于其他城市。广州在平均工资这里偏低了。
城市工资最大值平均情况
工资前几名还是北京
,上海
,深圳
,杭州
,香港
,这里杭州
大于香港
了,但是整体差不多。也是明显高于其他城市。
(注意这里都是平均情况,要说最高的,我还见过有50k,100k的呢)
其他
公司规模与工资情况
还是工资跟公司规模成正比,这点貌似还是没错
招聘岗位词云
公司最喜欢贴的标签
双薪
,年假
。。。我竟然还在旁边看见一个美女
。
怎么看着那么不靠谱呢?有句话怎么说来着?得不到的永远在骚动?所以公司就用这些标签去吸引人才了,反正我是不信互联网公司有那么多假。。。
公司优势
参考上面。
总结
还是大数据
通过上面很粗略的分析,可以看出来,目前市场需求最大并且工资最高的都还是有关大数据类的工作。所以小伙伴你们懂的。
脚本语言
在语言方面,脚本语言越来越火了,如果你会相对小众的脚本语言go,ruby(注意我这里用了相对小众,拥护者别打我),估计以后找个高薪的机会应该不难(前提是精通),不过小众的脚本语言在中国的学习资料不算多,交流也相对麻烦点。
PS. go语言真的不打算换吉祥物了???
大前端
我觉得现在的前端应该和以前只会切图的前端web区分开了,随着js的重要性继续增强,google v8引擎的推出。以后应用可能会往web倾斜,目前也有web app转本地APP的方案了,以后应该能做到一次编写,跨平台运行。是不是有可能开启一个大航海(大前端)时代呢(个人看法,轻喷)
除此之外,html5
现在招聘信息也挺多的了。是不是意味着中国大前端的春天要来了?
加上Node.js
一出,我感觉全栈
的概念又得火
声明:
(我觉得还是得加个声明,不然估计会有人找我麻烦的)
以上信息均是个人根据兴趣分析结果,不代表任何机构的立场。
由于不是大数据的结果,可能会有不准确的地方,大家仅供参考。
最后,对拉勾公司提供的信息表示感谢,没封我的ip。(虽然不是主动提供的)这还是个好公司,给程序猿们提供了很多有关就业有用的信息。
以上爬取内容仅供学习交流使用,禁止用于商业行为。