
实例分析:拉勾网数据分析,让数据决策你的行为
我们每天都在产生数据,出行,社交,购物,吃饭 等等,每一个行为伴随着数据的产生,如果将这些数据收集起来,并加以处理分析便可以反过来影响你的行为。
举个最简单的例子在各大电商网站搜索自己想买的商品,这一过程就产生了数据,电商网站会记录你所搜的商品数据,并稍作处理分析,基本就可以计算出你所需要购买的商品,
然后计算最合适你的商品,并以广告形式推送给你,最后你很有可能会从他推荐的商品中选一个付款,这个例子就形像的解释了,你是如何产生数据,而后数据又是如何影响你的行为的。
前些日子突然想到了如下几个问题:
在一线城市中 北京 上海 的薪水真的比深圳还高吗?
JAVA工资真的比.NET 的要高吗?
前端现在平均薪水大概是多少?
除了几个一线城市外,哪些二线城市是比较有潜力的?
市场上工作1-3年 3-5年经验的 薪水一般都是多少?
这些问题我想大家或多或少的都聊到过,但是却没有相应的数据来支撑你的想法,往往都只是聊聊就过了。基于以上的问题,我开始想通过数据来证实,想想还是通过招聘网站的数据来分析。
因为招人是企业真实的需求,企业的需求就代表的市场的需求,反过来企业发布的招聘信息一定会按当前市场行情来定,比如薪水当市场平均水平是 1-3年经验 7K 时 企业的发布招聘信息一会以市场行情做一个参考。
不然没有竞争力 招不到好的人才,必然会影响公司的发展。 这样这些发布的招聘信息还是具有一定的真实性的
一、 采集数据
1.1 拉钩网介绍
拉钩开通的城市暂时还只有如下几个城市,所以城市就抓取下图中的这些
岗位的话因为本文主要针对的是开发类的数据分析,所以只抓取开发的岗位信息
1.2 程序介绍
整个流程是这样的 先从拉钩取数据入,存入Redis队列,然后通过定时器把数据从Redis中取出通过Dapper(轻量级的ORM)存入DB,最后以图表形式展现出来。
所用到的一些东西 Redis ,Dapper, Sqlserver ,百度图表控件Echarts
1.Lagou 是一个控制台程序,主要用来抓取数据,并存入Redis
2.Lagou.Repository 抓到数据后的持久化与查询
3.Lagou.Web 将数据以图表形式展现
1.3 操作步骤
1.先把Redis安装并启动
2.在Lagou.Repository项目中运行sqlScript.sql脚本创建表,在DapperHelper.cs中配置好数据连接地址
3.把Lagou控制台设为启动项目并运行,结果如下图。 等所有城市下的职位都取完后,数据就抓取完成!
4.将Lagou.Web 项目设为启动项目并运行整个过程就结束了!
二 、分析数据
从图中可以看出 一线城市 北上深广 对人才的需求量是最大的
其中又以北京为第一,为什么北京会是第一呢? 首先 是地域特殊 是首都,其次 国内最早的一批互联网公司基本都在北京创立的带动了这一行业的发展,
同时也吸引了相应行业的人聚集,人的聚集又相应带动公司的聚集,两者相互影响使得北京成了互联网的主力军。
另外北京众所周知薪水 是各大城市中最高的,因为这一行业内的从业人员较多,相应优秀的人也会更多,优秀的企业也会更多,企业对优秀人才的渴望是从未满足过的,这种环境下自然后拉高行业的整体薪水
再说二线城市 排第一的杭州 我自己的想法 觉得是可能阿里巴巴带动的 当然政府的功劳肯定也是有的,但是如果没有阿里巴巴对整个行业的影响,当前的环境恐怕不是政府努力就能改变的。
1、为什么成都会排二线城市的第二呢?
1.事实上这两年有很多公司 承受不了一线城市发展的速度以及生存的压力与人力成本,就把公司迁到了节奏稍慢点的二线城市。
2.另外大的公司开始把业务做到的全国,开始在各个二线城市设立分公司,基本上互联网一梯队的公司都在二线城市有分部了。
3.政策方面,这两年成都政府在政策上进行了大力的扶持,而且扶持力度惊人。
所以这两年开始越来越多的公司开始把公司从一线城市迁到二线城市,或者扩展到二线。直接影响了成都互联网行业的快速发展
通过数据可看 一线城市 北上深广 未来仍是互联网行业的主力军。二线城市 杭州 成都 武汉 南京 是主力军 如果想从一线退到二线 这几个城市都是不错的选择。
2 、城市对某一职位的需求数
先看JAVA
JAVA在互联网这块的发展这几年明显超越了.NET 再加上 今年的互联网+ 概念导致了一大批的互联网公司掘起。在创业的初期,如何以最花最少的钱获得最大的效益成了初创公司都要考虑的问题。
其中就包括 人力(主要指招聘) 以及软件(开发工具的授权费用)。另外JAVA开源较早,开源社区提供了很多好的包而且支持跨平台,所以从图中可以看出 在一二线城市对拥有Java技能的人才,需求一直就很旺盛。
但是站在技术角度讲现在JAVA能做的.NET 都能做,而对于公司来说怎么活下去才是关键。
本人所在公司 15年就被微软发现使用了盗版软件,被要求买license如果整套环境都用正版至少得要上百万,最后死缠烂打也花了10多万才算解决这事儿
再说.NET
一线城市需求还是比较大的,城市之间的差距也不是很大,在一线城市中JAVA与.NET 需求量都相差不大,大致原因,应该还是一线城市公司的基数大,对.net,与JAVA 的需求都比较大。
但到了二线城市 反差就比较大了,.NET 数据 基本上不到一线城市的一半了,可能也是受互联网+的影响,其实本来和JAVA应该持平的,但是互联网+的概念一出大批的互联网公司起来。
考虑到之前说的公司成本问题,才导致对JAVA技能的人需求增加,还有一种可能是,近几年JAVA占市场比逐年增加导致.NET市场减少。
最后看看JavaScript
这一两年 JavaScript这一岗位可以说是发生了天翻地覆的变化,也使得 前端工程师 这一职位被独立出来各种优秀的前端框架也层出不穷。也从传统的pc浏览器到了移动端浏览器,
一线城市需求最大的还是 北京和上海 几乎是深圳和州各自的2倍了。
这也更加证明了北京是全国的互联网中心,随着移动互联网的迅速发展 各个城市的需求应该也会快速加大。
3 、城市对人才年限的需求数
可以看出来,不管是哪个城市 对1-3年 和3-5 年的人才 需求是最多的
这个其实很好解释,放到自己的工作环境来说基层员工和中层员工是生产力的大军,而高层只要几个,把控好方向与进度就行了.
剩下5-10年的 要么就是招的架构师级别的,要么就是工作岗位的要求需要至少5年以上的经验、
4 、同职位不同城市薪水对比
先解释点 拉勾发布的职位都是会带上薪水范围的,图中的彩色柱状条是对该薪水断的职位的总和。
先看JAVA
一线城市以 11-15k 的和16k-20k的 为主,然后是21k-25k的,而二线城市 则以 6k-10k的和11k-15k的为主,然后是16-20k 的 所以一线城市要比二线城市的薪水高一个梯队,这个大家也都是知道的,不做多的解释了。
.NET 的
最近总有人说搞.net 的工资没有搞JAVA的高,但都是以身边的人为例子而以数据缺乏准确定性。
通过图要可以看出
发布的JAVA职位在一线城市中 16k-20k的数量是要超过11k-15k的数量的,而二线城市中6k-10k与11k-15k的数量是不相上下的,而且还有不少16-20k职位
而.NET的职位 在一线城市中11k-15k的职位数量远超过16k-20k的数量 而二线城市中6k-10k的职位数据也是远超过11k-15k的职位数,而16k-20k的就更是寥寥无几了
通过两图对比可以看出 在一线城市 JAVA以11k-15k与16k-20k为主 且16k-20k的为主导,.NET也以11k-15k与16k-20k为主
但是却是以11k-15k为主,二线城市就更不用说,图一对比就懂了
结论也不用说了
5、 行业薪水分布
这两年移动互联网真的是飞速发展一不留神就从PC互联网转到了移动互联网了,猪在风口都被吹起来了,仅移动互联网行业的职位需求数据基本是其它行业的总和了,其次是电子商务 各种垂直电商,海淘也是这两年发展比较迅速的,互联网金融,15年也确实火 了一把,但是也坑了一把(各种跑路,以及被查),还有动不动就要颠覆传统行业的O2O 这些都是比较热门的行业,值得关注的两个行业是 企业服务,数据服务这两个行业,随着云计算,与大数据的 概念推出,越来越多的企业也开始进入这两个行业,说不定下一个 风口将从这里开始。
6、 不同融资阶段不同岗位薪水分布
原本想对比,公司处在不同的阶段薪水的差异,结果还是有点出人意料的,同一岗位下 不管处于 初创型 还成长型 对薪水的范围都基本是一致的。
也就是说不管公司的资本实力差距多大,对于人才的薪水基本还是和市场水平保持一致的,也证明了 企业如果想减少开支,通过降低薪水一措施是起不到任何作用的,反而会影响优秀的人才进来
7 、不同融资阶段对不同年限人才需求
公司招人 通常是两方面的主因
1.公司创立需要人员研发产品
2.公司业务扩展需要人员支持
所以图中可以看出 初创型的公司与成长型的公司为人才需求的主力军,还有一种情况值得关注那就是上市公司 为什么上市公司会有比较大的人才需求呢? 因为上市后有了资本的支持后,可以开始扩大自己的战线,
以增加公司的市值 为背后的资本家谋取更多的利润
相反成熟型的的公司业务基本稳定,在未上市前也没有多余的资本与精力来扩展其它业务,所以对人才的需求相对来说较小
通过对拉钩数据的简单分析,基本可以对我们的行为做出一定的指导,比如 想要高薪 在哪个一线城市的机会更大一点,如果想退到二线城市哪个城市的薪水差异不会与一线城市太大,学哪种语言出来后找工作会更容易一点,什么行业的公司薪水会更高一点
这些问题从上面的分析结果中都可以得到。记得阿里巴巴的CTO王坚说过:"数据本身是没有价值的,只有进行挖掘,分析后它才会产生价值",未来数据对生活的影响将会越来越大,人们将真正步入DT时代!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
Power BI 热力地图制作指南:从数据准备到实战分析 在数据可视化领域,热力地图凭借 “直观呈现数据密度与分布趋势” 的核心优势 ...
2025-08-20PyTorch 矩阵运算加速库:从原理到实践的全面解析 在深度学习领域,矩阵运算堪称 “计算基石”。无论是卷积神经网络(CNN)中的 ...
2025-08-20数据建模:CDA 数据分析师的核心驱动力 在数字经济浪潮中,数据已成为企业决策的核心资产。CDA(Certified Data Analyst)数据分 ...
2025-08-20KS 曲线不光滑:模型评估的隐形陷阱,从原因到破局的全指南 在分类模型(如风控违约预测、电商用户流失预警、医疗疾病诊断)的评 ...
2025-08-20偏态分布:揭开数据背后的非对称真相,赋能精准决策 在数据分析的世界里,“正态分布” 常被视为 “理想模型”—— 数据围绕均值 ...
2025-08-19CDA 数据分析师:数字化时代的价值创造者与决策智囊 在数据洪流席卷全球的今天,“数据驱动” 已从企业战略口号落地为核心 ...
2025-08-19CDA 数据分析师:善用 Power BI 索引列,提升数据处理与分析效率 在 Power BI 数据分析流程中,“数据准备” 是决定后续分析质量 ...
2025-08-18CDA 数据分析师:巧用 SQL 多个聚合函数,解锁数据多维洞察 在企业数据分析场景中,单一维度的统计(如 “总销售额”“用户总数 ...
2025-08-18CDA 数据分析师:驾驭表格结构数据的核心角色与实践应用 在企业日常数据存储与分析场景中,表格结构数据(如 Excel 表格、数据库 ...
2025-08-18PowerBI 累计曲线制作指南:从 DAX 度量到可视化落地 在业务数据分析中,“累计趋势” 是衡量业务进展的核心视角 —— 无论是 “ ...
2025-08-15Python 函数 return 多个数据:用法、实例与实战技巧 在 Python 编程中,函数是代码复用与逻辑封装的核心载体。多数场景下,我们 ...
2025-08-15CDA 数据分析师:引领商业数据分析体系构建,筑牢企业数据驱动根基 在数字化转型深化的今天,企业对数据的依赖已从 “零散分析” ...
2025-08-15随机森林中特征重要性(Feature Importance)排名解析 在机器学习领域,随机森林因其出色的预测性能和对高维数据的适应性,被广 ...
2025-08-14t 统计量为负数时的分布计算方法与解析 在统计学假设检验中,t 统计量是常用的重要指标,其分布特征直接影响着检验结果的判断。 ...
2025-08-14CDA 数据分析师与业务数据分析步骤 在当今数据驱动的商业世界中,数据分析已成为企业决策和发展的核心驱动力。CDA 数据分析师作 ...
2025-08-14前台流量与后台流量:数据链路中的双重镜像 在商业数据分析体系中,流量数据是洞察用户行为与系统效能的核心依据。前台流量与 ...
2025-08-13商业数据分析体系构建与 CDA 数据分析师的协同赋能 在企业数字化转型的浪潮中,商业数据分析已从 “可选工具” 升级为 “核 ...
2025-08-13解析 CDA 数据分析师:数据时代的价值挖掘者 在数字经济高速发展的今天,数据已成为企业核心资产,而将数据转化为商业价值的 ...
2025-08-13解析 response.text 与 response.content 的核心区别 在网络数据请求与处理的场景中,开发者经常需要从服务器返回的响应中提取数 ...
2025-08-12MySQL 统计连续每天数据:从业务需求到技术实现 在数据分析场景中,连续日期的数据统计是衡量业务连续性的重要手段 —— 无论是 ...
2025-08-12