您当前的位置:首页 > 互联网百科 > 大数据

9大流程,4大工具,谁才是数据分析的关键?

时间:2020-11-12 09:59:31  来源:  作者:

很多人在做数据分析的时候,不知道怎么去开展,或者怀疑自己做出的分析报告是否合理、是否全面,这是因为你对这一套标准化流程没有真正的理解。

9大流程,4大工具,谁才是数据分析的关键?

 

如何通过科学的流程,来得出有价值的分析和建议?今天我们就来讲一下。

数据分析整体流程

来看一下标准化流程的九个步骤:

明确问题——先把问题定义清楚,因为很多人还没理清问题就直接去看数据了;

搭建框架——定义问题之后再把问题考虑全面、找到一条分析主线;

数据提取——MySQL、Hive 等工具提取相关数据;

数据处理——Excel、R、Python 处理数据;

数据分析——以数据分析方法论为主来分析数据;

数据展现——用 Tableau、Excel、R、Python 工具把你的数据展现出来;

撰写报告——考验你的文笔功底以及整体逻辑性;

报告演讲——考验你沟通能力,表达能力,被提问能力。所有的报告撰写完成之后不要直接去讲,还是要和业务方进行大量的沟通,如果不提前做好沟通,你在会议或公众场合上讲时很容易被别人挑战;

报告闭环——这是最难也是最大价值的地方。

这里面的数据提取、数据处理、数据展现是数据分析师前期的基本功,以工具为主,都是比较容易学到的,也比较容易完成。而明确问题、搭建框架、撰写报告、报告演讲、报告闭环更多是考验分析师的综合能力以及智商、情商,所以这块往往需要很多时间去沉淀。

 

基于数据分析这一套标准化流程,其中涉及一些行业常用的工具,这些工具都能做什么?如何匹配不同的场景去使用?下面我简单讲一下。

数据分析常用工具

9大流程,4大工具,谁才是数据分析的关键?

 

1、MySQL、Hive:

基本上所有的数据获取方式都是通过 MySQL、Hive 这两种语言来实现,同时你要学习一些 linux 命令,因为在排查数据异常时会用到。你需要对这两门工具超级熟练,因为数据提取环节是不能出错的,这一步有问题,后面就都有问题。

2、Excel:

Excel 是最高频的数据处理工具。工作中你经常遇到的一种情况,你的 leader 直接让你现场画个图,这时你最有可能用 Excel 而不是 R、Python。

3、R:

R 是一门统计型语言,专门为数据分析而生,简单易学,但缺点是计算能力确实比较差,你导入两个 GB 数据就有可能导致死机。

4、Python:

一门脚本型语言,可扩展性极强,算法必备,但是计算能力确实比较差,你导入两个 GB 数据就有可能导致死机。

Python 和 R 的区别

作为数据分析中最常用的两种编程语言,一直有同学好奇 Python 和 R 有何异同。

Python 和 R 相比, R 的机器学习算法语言 Python 都能很快实现,而对于下面所说的几种情况,R 稍微来说就有一点难度了。

爬虫:爬虫在工作中价值很大,比如爬取一些竞品的数据,用 R 不方便。

比如资讯类 App 的很多文章是通过爬虫下发给大家,像今日头条的一些文章。

文本挖掘:对评论数据研究价值很大,比如对 App 评论数据的分析,从而知道如何去做评论运营闭环。

京东网易 App 的评论运营,其他 App 的热点评论置前。

UDF 函数:Hive 自定义函数有时并不能满足需求,此时就需要自己定义函数来实现需求,这时就可以用 Python 写个 UDF。

如计算机尼系数,在 Hive 中直接调用 UDF 能够很快输出。

对于算法研发同学:个性化推荐、底层运维、Web 开发都是通过 Python 来实现。

总而言之,Python 是非常强大的第三方库。

不管什么样的工具,都是为实现目标所用的“术”,但若想完整的跑通业务,还需要数据思维、业务拆解、方法论这种“道”,希望同学们都能既掌握“术”,更掌握“道”,成长为优秀的数据分析人才!

 

本文转自公众号:勾勾谈数据分析

欢迎大家去找勾勾畅谈数据分析哦



Tags:数据分析   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
1、什么是数据分析结合分析工具,运用数据分析思维,分析庞杂数据信息,为业务赋能。 2、数据分析师工作的核心流程:(1)界定问题:明确具体问题是什么;●what 发生了什么(是什么)●why 为...【详细内容】
2021-12-01  Tags: 数据分析  点击:(25)  评论:(0)  加入收藏
最近有一位刚入行的朋友跟我吐槽,说他提交了一份8月的经营数据分析报告给领导,报告里面放了很多图表,也罗列了很多数据,结果却被老板痛批了一顿,说分析了半天也看不懂他的分析逻...【详细内容】
2021-09-17  Tags: 数据分析  点击:(44)  评论:(0)  加入收藏
老李最近在后台看到很多想进入数据分析领域的朋友私信我,让我帮忙解答一些职业问题。在跟他们的交流中,我发现他们之中70%都是一无所知或刚入门的数据小白,但是都特别积极主动,...【详细内容】
2021-09-16  Tags: 数据分析  点击:(80)  评论:(0)  加入收藏
1 内容总概不管是数据分析还是数据运营,少不了做分析报告,通常一份简洁的分析报告总是令人眼前一亮,但是,大部分同学拿到一组数据时,不能很好的应用,没有思路、想法和头绪,这里作者...【详细内容】
2021-09-14  Tags: 数据分析  点击:(46)  评论:(0)  加入收藏
在不久前结束的东京奥运会女子10米气步枪赛场上,杨倩以251.8环破了奥运记录,代表中国拿下东京奥运会首金。她又与杨浩然一起,顶住压力拿下10米气枪混合团体赛金牌。在感受到强...【详细内容】
2021-08-16  Tags: 数据分析  点击:(53)  评论:(0)  加入收藏
随着数据分析岗位招聘越来越内卷,问“你用过/建过什么模型”的也越来越多。这个问题很容易给人“面试造航母,工作拧螺丝”的感觉。实际工作中,真的要搞那么多模型???搞得很多同学...【详细内容】
2021-07-13  Tags: 数据分析  点击:(70)  评论:(0)  加入收藏
明确目的带着问题出发,明确我们的目的是探索不同岗位、城市、公司数据人薪资是怎样的,所以是一个探索性分析。数据处理1、查看并理解字段拿到数据,大概看一下,总共有184条记录,量...【详细内容】
2021-07-06  Tags: 数据分析  点击:(89)  评论:(0)  加入收藏
本文讲解窗口函数的概念,窗口函数与数据分组的功能相似,可以指定数据窗口进行统计分析,但窗口函数与数据分组又有所区别,窗口函数对每个组返回多行,而数据分组对每个组只返回一行...【详细内容】
2021-06-25  Tags: 数据分析  点击:(65)  评论:(0)  加入收藏
数据分析思维九段路线1. 初段:目标思维做数据分析,首先要一定明确目标,以终为始。只有明确目标,才不会迷失方向,就像导航软件,如果没有设置目的地,那么它是没法告诉你路线图的。目...【详细内容】
2021-06-25  Tags: 数据分析  点击:(104)  评论:(0)  加入收藏
缺失的原因1)有些信息暂时无法获取,或者获取信息的代价太大2)有些信息是被遗漏的。3)属性值不存在。缺失值的影响1)数据挖掘建模将丢失大量的有用信息。2)数据挖掘模型所表现出的...【详细内容】
2021-05-20  Tags: 数据分析  点击:(366)  评论:(0)  加入收藏
▌简易百科推荐
张欣安科瑞电气股份有限公司 上海嘉定 201801 摘要:随着电力行业各系统接入,海量数据涌现,如何利用电网信息化中大量数据,对客户需求进行判断分析,服务于营销链条,提升企业市场竞...【详细内容】
2021-12-14  安科瑞张欣    Tags:大数据   点击:(9)  评论:(0)  加入收藏
1、什么是数据分析结合分析工具,运用数据分析思维,分析庞杂数据信息,为业务赋能。 2、数据分析师工作的核心流程:(1)界定问题:明确具体问题是什么;●what 发生了什么(是什么)●why 为...【详细内容】
2021-12-01  逆风北极光    Tags:大数据   点击:(25)  评论:(0)  加入收藏
在实际工作中,我们经常需要整理各个业务部门发来的数据。不仅分散,而且数据量大、格式多。单是从不同地方汇总整理这些原始数据就花了大量的时间,更不用说还要把有效的数据收集...【详细内容】
2021-11-30  百数    Tags:数据   点击:(21)  评论:(0)  加入收藏
数据作为新的生产要素,其蕴含的价值日益凸显,而安全问题却愈发突出。密码技术,是实现数据安全最经济、最有效、最可靠的手段,对数据进行加密,并结合有效的密钥保护手段,可在开放环...【详细内容】
2021-11-26  炼石网络    Tags:数据存储   点击:(17)  评论:(0)  加入收藏
导读:网易大数据平台的底层数据查询引擎,选用了Impala作为OLAP查询引擎,不但支撑了网易大数据的交互式查询与自助分析,还为外部客户提供了商业化的产品与服务。今天将为大家分享...【详细内容】
2021-11-26  DataFunTalk    Tags:大数据   点击:(15)  评论:(0)  加入收藏
导读:数据挖掘是一种发现知识的手段。数据挖掘要求数据分析师通过合理的方法,从数据中获取与挖掘项目相关的知识。作者:赵仁乾 田建中 叶本华 常国珍来源:华章科技数据挖掘是一...【详细内容】
2021-11-23  华章科技  今日头条  Tags:数据挖掘   点击:(20)  评论:(0)  加入收藏
今天再给大家分享一个不错的可视化大屏分析平台模板DataColour。 data-colour 可视化分析平台采用前后端分离模式,后端架构设计采用微服务架构模式。 前端技术:Angularjs、Jq...【详细内容】
2021-11-04  web前端进阶    Tags:DashboardClient   点击:(39)  评论:(0)  加入收藏
在Kubernetes已经成了事实上的容器编排标准之下,微服务的部署变得非常容易。但随着微服务规模的扩大,服务治理带来的挑战也会越来越大。在这样的背景下出现了服务可观测性(obs...【详细内容】
2021-11-02  大数据推荐杂谈    Tags:Prometheus   点击:(40)  评论:(0)  加入收藏
同一产品对老客户的要价竟然比新客户要高?这是当下“大数据杀熟”的直接结果。近年来,随着平台经济的蓬勃发展,大数据在为用户服务之外,也引发了多种不合理现象。为了有效遏制“...【详细内容】
2021-10-29    海外网   Tags:大数据   点击:(31)  评论:(0)  加入收藏
本人03年开始从事贸易行业,多年来一直致力于外贸获客和跨境电商选品等领域,最近有些小伙伴反馈海关数据演示的都挺好为啥用起来不是那么回事?大家看到数据时关注的有产品、采购...【详细内容】
2021-10-28  QD云龙    Tags:数据   点击:(33)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条