您当前的位置:首页 > 互联网百科 > 大数据

2021年数据分析师不值钱了?爬取数据分析后发现原来差距这么大

时间:2021-07-06 11:21:37  来源:大数据架构师  作者:

明确目的

带着问题出发,明确我们的目的是探索不同岗位、城市、公司数据人薪资是怎样的,所以是一个探索性分析。

数据处理

1、查看并理解字段

拿到数据,大概看一下,总共有184条记录,量不大,那我们就直接用Excel来处理即可。样本量虽然有点少,但贵在真实、有效。

有8个字段:

  • 序号:对一条记录的唯一编号
  • 提交时间:用户提交问卷的时间,没有特别的含义
  • 大佬是什么岗:岗位名称,如数据仓库、大数据开发等7个类别
  • 大佬在什么厂:公司类型,如一线巨厂、三线小厂等4个类别
  • 大佬的月薪多少:月薪,有1w以下,1~2w等6个区间可选
  • 你还有啥想问、想说的:留言
  • 递交地点:城市,可以理解为工作所在城市

2、缺失值处理

缺失值只在留言一列中存在,但这是正常现象,没必要做任何操作

3、重复值处理

对于重复值,这里我们认为所有字段都重复的才为重复值,即可删除。通过【删除重复值】的功能来实现,这份数据里没有重复值。

2021年数据分析师不值钱了?爬取数据分析后发现原来差距这么大

 

4、异常值处理

关于异常值的处理,一个是对数值型数据的统计学意义上的异常来看,常用的方法是直接画出箱型图来观察。

另一个则是根据业务经验来判断,这里我们可以对城市字段进行分组,方便后续的分析,同时在分组过程中,也发现了一些异常值,这是基于常识经验。

把城市分为一线、新一线、二线、三线、四线、五线,有50个值是没有归属的,情况也不一样。

有的是地点直接显示为国别,如中国、美国,有的是地点显示为省份,如广东、浙江。把省份用其省会城市代替,做一些处理。

2021年数据分析师不值钱了?爬取数据分析后发现原来差距这么大

 

最后得到规整的城市对应分组城市类型的数据。

2021年数据分析师不值钱了?爬取数据分析后发现原来差距这么大

 

由于数据源是从调查软件中导出,所以整个数据比较规范,在缺失值、重复值、异常值的处理上都比较方便,基本无需做多余的操作,直接拿来用都可以。

数据分析

初级段位:数据罗列

1、单一特征分布

查看这份调查问卷每个字段的情况

2021年数据分析师不值钱了?爬取数据分析后发现原来差距这么大

 

根据对单一特征的分析可以知道:

  • 在这份样本中,有7个类别的岗位,其中数据仓库岗位的用户最多,占比24.46%,算法类岗位填写问卷的最少,只有3个,其余的如大数据开发、数据分析、产品类等岗位分布大致相同。
  • 有近一半的人(42.93%)是在默默无闻的血汗工厂工作。
  • 本次调查的人中有约95%的人月入过万,有超过2/3的人是月收入在1~2、2~3W的区间内。
  • 在北上广深等一线城市工作的人超过一半(51.63%),其次是新一线城市。
  • 底层码农占比44.57%

2、离散型数据分布

查看了单个字段的大致分布后,别忘了我们的目的:薪资!所以要看每个字段和薪资的情况

2021年数据分析师不值钱了?爬取数据分析后发现原来差距这么大

 

可以看出:

  • 从岗位&薪资上来看,数据分析类岗位1~2w的薪资占比达到了70%,大数据开发岗位2~3w薪资占比60%,其余数据仓库、产品岗等2~3w较多。所以,想要工资高,选择赛道很重要!
  • 从级别&薪资上来看,底层码农1~2w薪资水平占比较多(49%),主管/中级工程师同样也是1~2w占比较多,54%的人到了经理/高级工程师的级别后其薪资水平可达到2~3w,总监/架构师及以上的薪资在5~8w和8w以上的人数占比达到了61.5。所以,要想多加薪,升职要上心
  • 从公司性质&薪资上看,一线巨厂和非一线但是听过名字的大厂薪资2~3w的人较多,默默无闻的血汗工厂和三线小厂的薪资在1~2w的人较多。
  • 从城市&薪资上看,可以看到,一线和新一线城市的薪资结构差不多,1~2、2~3w占据了大多数,2345线城市2~3w薪资的就不多了。所以,哪儿的工资多?大城市里找工作

中级段位:多特征联合

4、交叉分析

薪资不单单和某一因素有关,不同的城市、岗位、级别,薪资水平肯定会不一样,因此要进行多个维度的交叉分析。

2021年数据分析师不值钱了?爬取数据分析后发现原来差距这么大

 

  • 大厂里岗位分布比较均匀,三线小厂和默默无闻的血汗工厂数据仓库岗位尤其多,数据分析类岗位在各个厂都是1~2w人数居多,数据仓库岗在默默无闻的血汗工厂、三线小厂里主要是1~2w、2~3w居多,大胆猜测为彭老师人脉受众主要是做数据仓库的,比较成熟了,所以样本多薪资高。
  • 不同城市里岗位的分布,一线城市大数据开发类、数据仓库岗位较多且薪资在1~2,2~3w,其他城市岗位分布比较散,当然也可能和样本有偏有关。

查看各岗位的城市分布及薪资情况

2021年数据分析师不值钱了?爬取数据分析后发现原来差距这么大

 

  • 大数据开发岗在北京、深圳的薪资较高(5~8w及以上)
  • 相比其他数据类岗位,偏管理岗在其他城市也有了分布,整体薪资较高,在一线城市反而也有1w左右的,猜测1线城市用工不愁?
  • 数据仓库岗样本量多,分布也较广,在各个城市基本都是1~2w,2~3w较多
  • 数据分析岗没有5w及以上的,主要是因为样本中没有级别总监及以上的,所以拉低了数据分析岗位的平均薪资
  • 算法岗由于样本量太少(3个),城市薪资差异也较大

查看级别的城市分布同薪资情况

2021年数据分析师不值钱了?爬取数据分析后发现原来差距这么大

 

  • 底层码农在深圳1~2w的居多,上海北京1~2w和2~3w的分庭抗礼
  • 主管/中级工程师在一线城市2~3w的会多一些,其他二线城市主要是1~2w
  • 经理/高级工程师在各个城市基本上都是2~3的居多
  • 总监/架构师及以上基本在3~5w及以上,青岛、广州、上海有1~2w的

总结一下:

  1. 4个最多:数据仓库岗位人群最多,一线城市工作的人最多,默默无闻的血汗工厂工作的人最多,月入2~3w的人最多(与样本群体相关)。
  2. 薪资水平:以这份调查样本来说,数据人平均薪资在2.5w左右。
  3. 岗位选择:一线城市较其他城市提供的岗位有更多的选择性,除了数据分析岗薪资是1~2w,其他数据岗位薪资均在2~3w较多。
  4. 职业发展:在职业阶段初期,底层码农和主管/中工薪资结构差不多,再往上薪资水平就可提升一大截。
  5. 城市选择:大厂主要集中在一线城市,各个岗位分布较为平均且整体薪资较高。

高级段位:一些思考

让我们抛开这份样本来思考,从整个行业来看,数据人的薪资、岗位、职业、城市又有着怎样的趋势?可以带着3个问题来思考。

Q1:数据类岗位薪资最高的是?

数据类岗位应属于信息传输、软件和信息技术服务这类职业中,可以看到,除了管理层和金融服务外,它的工资排名第三,有90%的人能拿到17.28w的年薪,整个行业向好。

2021年数据分析师不值钱了?爬取数据分析后发现原来差距这么大

 

细分到数据类岗位,可以参考的是,数据分析岗年中位数薪资为14.6w,数据仓库18.1w,大数据开发21.4w,产品经理19.3w,算法工程师23.8w,要努力精进自己的技术。

2021年数据分析师不值钱了?爬取数据分析后发现原来差距这么大

 

Q2:是否职位越高,薪资越高?

从人社局公布的分岗位等级从业人员薪资分位值上可以看出,不管是技术类还是管理类,职位越高,薪资也会随着增长,但我们也发现,就算是高层管理岗有10%的人拿着5w年限左右的薪资,也有38万年薪就超过了90%的人,所以打铁还需自身硬,数据人,加油!

2021年数据分析师不值钱了?爬取数据分析后发现原来差距这么大

 

Q3:哪些城市的薪资最高?

通过统计各大城市的平均薪资和薪资中位数可以看到,北京、上海、南京、深圳、广州、杭州等一线、新一线城市平均薪资过万,当然平均值过于被极值影响了,从薪资中位数上看,只有北京、上海薪资中位数超过了6000,要高薪,还是要到大城市去。

2021年数据分析师不值钱了?爬取数据分析后发现原来差距这么大

 

数据展示

简单地用Excel做了一个可视化大屏,做了2个动态交互效果,一个是通过列表框控件的选择显示的圆环图,可以看到其分布占比。

2021年数据分析师不值钱了?爬取数据分析后发现原来差距这么大

 

另一个交互效果是数据透视表里切片器,通过将数据透视表联动,选择不同的岗位,可得到相应的图形。

2021年数据分析师不值钱了?爬取数据分析后发现原来差距这么大

 



Tags:数据分析   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
有的人说当国考职位表发布的那一刻我的2023年国考就已经结束了那么今年国考的招录形势如何?小编今天就给大家分析一下国考今日报名数据 竞争最激烈的十大岗位 报名人数最多...【详细内容】
2022-10-26  Tags: 数据分析  点击:(22)  评论:(0)  加入收藏
数据分析是诊断账户最基本的技能,通过数据的分析,发现问题、解决问题。首先我们要有一个清晰的逻辑:分析数据的目的,收集数据的途径,整理数据的方法,分析思路,最后得出结论。今天跟...【详细内容】
2022-10-12  Tags: 数据分析  点击:(42)  评论:(0)  加入收藏
作者:Phillan.eth声明:本文列出的工具旨在分析加密数据资产,读者不应该作为投资交易和决策依据,请在自己所在国家或地区的法律允许范围内使用。你应该必须超越炒作,做你自己的研...【详细内容】
2022-10-03  Tags: 数据分析  点击:(30)  评论:(0)  加入收藏
一、关联分析关联分析,也叫作“购物篮分析”,是一种通过研究用户消费数据,将不同商品之间进行关联,并挖掘二者之间联系的分析方法。关联分析目的是找到事务间的关联性,用以指导决...【详细内容】
2022-09-21  Tags: 数据分析  点击:(84)  评论:(0)  加入收藏
近日,三大运营商发布了8月份的运营数据。整体来看,三大运营商八月份的表现和本年的前几月相差不大。移动用户方面,中国移动连续数月超过中国电信;5G用户数量方面,三家之间的差距...【详细内容】
2022-09-21  Tags: 数据分析  点击:(48)  评论:(0)  加入收藏
近几年,因为数据分析行业的繁荣,很多人选择入行或者转行做数据分析。比较突出的表现就是在知乎上搜索数据分析,出现的大多是关于如何转行数据分析的提问。但是,小编想说,在你对一...【详细内容】
2022-08-25  Tags: 数据分析  点击:(50)  评论:(0)  加入收藏
一:番茄放量机制番茄放量顾名思议就是番茄官方给某部小说作品进行全app平台智能算法推送到用户手机里,从而用抖音快手专业叫法叫做展示量。展示量推送位置(男女频首页,搜索页,分...【详细内容】
2022-08-18  Tags: 数据分析  点击:(19)  评论:(0)  加入收藏
从以下几个方面来看数据分析思维及其方法论: 去餐厅吃饭师,如果你仔细观察的话,餐厅大致可以分为以下两类付费模式:1)使用大众点评优惠吸引用户结账2)直接使用微信或支付宝结账 这...【详细内容】
2022-08-10  Tags: 数据分析  点击:(32)  评论:(0)  加入收藏
萌新小白如何开始数据分析?专职想做数据分析该如何开始??大部分人听到“数据分析”,都觉得这是一个非常高大上的词汇,似乎高不可攀。 但在我看来,数据分析并不是一种冷冰冰的工作...【详细内容】
2022-07-21  Tags: 数据分析  点击:(124)  评论:(0)  加入收藏
“小王,你把这些用户数据分析下,分别打个价值标签给我,我们制定一下618的营销活动。”这时候你拿着用户数据一脸懵?打标签?从哪几个维度?脑海里仿佛有很多想法,但又不知道从何做起...【详细内容】
2022-05-30  Tags: 数据分析  点击:(67)  评论:(0)  加入收藏
▌简易百科推荐
数据分析是诊断账户最基本的技能,通过数据的分析,发现问题、解决问题。首先我们要有一个清晰的逻辑:分析数据的目的,收集数据的途径,整理数据的方法,分析思路,最后得出结论。今天跟...【详细内容】
2022-10-12  学院小助手  搜狐号  Tags:数据分析   点击:(42)  评论:(0)  加入收藏
引言 大数据统计是特别厉害的,举一个最为简单的例子,就像很多人在闲暇的时光里,都会选择看短视频。 当我们看到了同类型的短视频,并且点赞之后,就会发现在无形中推送出来的视频都...【详细内容】
2022-09-23  互联网资讯看板   网易号  Tags:大数据   点击:(36)  评论:(0)  加入收藏
现在是数码时代,手机可谓人手一部,长期随身携带。所以手机的移动轨迹也代表了人的行踪。可以说,在数字化、智能化的时代,一个人的轨迹是有“数字”可循的。很多人可能会被大数...【详细内容】
2022-09-23  爱家临江1l9  今日头条  Tags:大数据   点击:(43)  评论:(0)  加入收藏
一、关联分析关联分析,也叫作“购物篮分析”,是一种通过研究用户消费数据,将不同商品之间进行关联,并挖掘二者之间联系的分析方法。关联分析目的是找到事务间的关联性,用以指导决...【详细内容】
2022-09-21  数据不吹牛   网易号  Tags:数据分析   点击:(84)  评论:(0)  加入收藏
目录 1. Shopee 数据系统建设中面临的典型问题 2. 为什么选择 Hudi 3. Shopee 在 Hudi 落地过程中的实践 4. 社区贡献 5. 总结与展望湖仓一体(LakeHouse)作为大数据领域的重...【详细内容】
2022-09-14  Lakehouse  今日头条  Tags:Apache Hudi   点击:(50)  评论:(0)  加入收藏
其实,在互联网时代,每个人都是透明的。你在注册各种账号时,基本已经把个人信息泄露出去了。当你看新闻,刷短视频,网络购物时,大数据就会根据你的平时喜欢,不断推送类似的内容和商品给你。...【详细内容】
2022-09-13  数字财经智库  搜狐网  Tags:大数据   点击:(55)  评论:(0)  加入收藏
数据开发技术方向主要有数据仓库、在线分析处理(OLAP)以及数据挖掘三部分组成。一、数据仓库:架构1.数据仓库 Data Warehouse,DW数据仓库是构建面向分析的集成化数据环境,为企业...【详细内容】
2022-08-29  华夏金领大数据  今日头条  Tags:数据开发   点击:(64)  评论:(0)  加入收藏
《开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目,包括技术、学习、实用与各种有趣的内容。本期推荐的是一个开源机器学习和数据可视化工具——ora...【详细内容】
2022-08-25  互联网资讯看板   网易  Tags:数据可视化   点击:(189)  评论:(0)  加入收藏
近几年,因为数据分析行业的繁荣,很多人选择入行或者转行做数据分析。比较突出的表现就是在知乎上搜索数据分析,出现的大多是关于如何转行数据分析的提问。但是,小编想说,在你对一...【详细内容】
2022-08-25  互联共商   网易  Tags:数据分析   点击:(50)  评论:(0)  加入收藏
先说观点:因为还没找到更好的。接下来说原因,首先来看看大数据平台都在干什么。原因结构化数据计算仍是重中之重大数据平台主要是为了应对海量数据存储和分析的需求,海量数据存...【详细内容】
2022-08-25  大数据推荐杂谈    Tags:大数据平台   点击:(64)  评论:(0)  加入收藏
站内最新
站内热门
站内头条