您当前的位置:首页 > 互联网百科 > 大数据

系统谈数据治理,具体案例来分析 宋懵懵的数据生活

时间:2020-06-21 22:35:12  来源:  作者:

为什么要做数据治理

进入到大数据时代,数据领域里的工程师、分析师和科学家们可以很轻易的使用开源世界的各种技术(比如离线处理有MapReduce、Spark,实时处理有Flink、Spark Streaming,数据存储有HDFS、Hbase等等)处理数据、应用数据,但是如何将繁杂的数据结构、庞大的数据集、不断变化的元数据信息变成资产,变成可积累的知识,却是一个很难回答的问题。对于业务驱动的公司,做数据治理并不能直接产生业务价值和效益;技术驱动的公司,数据治理也没有很高的技术含量,但是一个没有经过治理的数据,只会随着业务规模的增大,越来越混乱,直到没有人想去碰。因此如何让这繁杂的数据变成数据资产,让数据团队不做重复地工作,拥有更高的效率成了每一个数据团队需要解决的问题。

在大数据领域,数据治理可以说是高频次的出现,那么为什么需要数据治理?应该怎么来实施数据治理。

一、数据治理的背景

说起数据治理,往往会跟数据仓库进行对标,数据治理跟数据仓库是什么关系呢?一般而言数据仓库主要解决多源数据汇聚、存储和数据分析的问题,在数据仓库的体系中极少提到数据资产化的概念,那么数据治理在传统的数据仓库的基础上,更多的体现数据资产化的概念,所以数据治理的核心能力并不是有限的数据分析,而是数据价值的充分挖掘和体现。

那么数据治理为什么不叫数据管理呢?数据管理更多的是如何来管理数据,而数据治理更充分的体现数据的价值,通过一系列的治理活动来提升数据的价值,发挥数据应有的作用,使数据驱动应用。

另外,数据治理与当前比较火热的数据中台又是什么关系呢?我认为数据治理是数据中台的技术实现,通过数据治理的技术体系来建立数据中台。

综上所述,数据治理就是在数据爆发式增长的形势下,数据价值发挥越来越显得紧迫和重要,甚至可以说未来市场的竞争就是数据价值的竞争。所以只有建立完整的数据治理体系,才能保障数据内容的质量,才能真正有效的挖掘数据价值,提升竞争力。

二、数据治理的设计方法

这里就不长篇大论的描述数据治理的设计方案了,主要以关键点的方式来进行简要阐述。

首先我们要考虑数据治理的目标,其一对数据通过统一的视图进行管理;其二对多源数据进行标准化处理;其三数据资产化最重要的活动,数据价值挖掘的基础。

  1. 标准先行,一般来说需要事先制定“数据分类及编码标准”、“数据目录标准”、“数据项标准”、“数据安全标准”、“数据交换共享标准”;
  2. 依据标准建立数据目录管理功能,通过数据目录管理来落实数据分类编码、数据目录和数据项标准;
  3. 建立数据清洗规则,使数据目录与源数据表建立映射,数据项与源表数据项建立映射,通过ETL实现对源数据的清洗;
  4. 建立数据质量管理功能,按照数据目录定期检查数据的质量问题,并通过数据问题库来记录和跟踪数据的质量问题,从而达到持续改进数据治理的效果;
  5. 建立数据安全管理功能,数据安全主要通过三方面来实现,其一是数据加密、脱敏等技术,其二是数据权限,包括表级、行级和列级权限定义,其三对数据交换共享进行日志记录,并定时自动审计数据安全问题。
  6. 建立数据服务功能,一般都会提供通过文件、接口的方式来提供数据服务功能,按照数据安全标准对数据服务方式进行处理。
  7. 再强调一下ETL,支持通过表对接、文件、接口等方式归集数据,通过数据清洗规则对数据进行清洗转换的处理,从而加载到数据库中,我们用Hive来作为加载数据的数据仓库。
  8. 最后数据治理还有一些高级一点的功能,包括数据血缘、数据关联等分析的能力。

伴随以互联网、大数据、物联网5G、AI、数据中台、新基建等为代表的新一代信息技术发展,企业数字化转型的需求加剧,但企业转型过程中,各种数据信息会成为转型的首要内容,而数据治理则是转型工作的重中之重。通常来讲数据治理作为一项系统性工程,在企业数字化转型过程中暴露的问题也较多,如:

数据异构系统多,信息系统孤岛现象普遍存在;

数据整合难,数据标准不统一、质量差、资源共享与协同支撑作用薄弱、价值发掘难度大等;

方法及技术局限,传统的数据治理技术方法存在较大的局限性,咨询-标准-系统建设的模式往往在咨询后就难以为继,不是找不到落地抓手,就是因工作量巨大而半途而废。

…….

面临当下这些问题,企业如何突破现有瓶颈让数据治理项目可以顺利进行,成功实现企业数字化转型?亿信华辰数据治理专题直播给你安排上了,有效助力企业数字化转型。

系统谈数据治理,具体案例来分析

 

 



Tags:数据治理   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
为什么要做数据治理进入到大数据时代,数据领域里的工程师、分析师和科学家们可以很轻易的使用开源世界的各种技术(比如离线处理有MapReduce、Spark,实时处理有Flink、Spark Str...【详细内容】
2020-06-21  Tags: 数据治理  点击:(89)  评论:(0)  加入收藏
过去十年,农业银行信息化建设积累了海量的数据。为了盘活这些数据资源,充分发挥数据价值,在大数据平台和AI建设过程中,农业银行采取“统筹规划、顶层设计、分步实施”的策略,不断...【详细内容】
2020-06-16  Tags: 数据治理  点击:(83)  评论:(0)  加入收藏
▌简易百科推荐
前言什么是数据脱敏数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护常用脱敏规则替换、重排、加密、截断、掩码良好的数据脱敏实施1、尽...【详细内容】
2021-12-28  linyb极客之路    Tags:数据脱敏   点击:(2)  评论:(0)  加入收藏
张欣安科瑞电气股份有限公司 上海嘉定 201801 摘要:随着电力行业各系统接入,海量数据涌现,如何利用电网信息化中大量数据,对客户需求进行判断分析,服务于营销链条,提升企业市场竞...【详细内容】
2021-12-14  安科瑞张欣    Tags:大数据   点击:(10)  评论:(0)  加入收藏
1、什么是数据分析结合分析工具,运用数据分析思维,分析庞杂数据信息,为业务赋能。 2、数据分析师工作的核心流程:(1)界定问题:明确具体问题是什么;●what 发生了什么(是什么)●why 为...【详细内容】
2021-12-01  逆风北极光    Tags:大数据   点击:(26)  评论:(0)  加入收藏
在实际工作中,我们经常需要整理各个业务部门发来的数据。不仅分散,而且数据量大、格式多。单是从不同地方汇总整理这些原始数据就花了大量的时间,更不用说还要把有效的数据收集...【详细内容】
2021-11-30  百数    Tags:数据   点击:(21)  评论:(0)  加入收藏
数据作为新的生产要素,其蕴含的价值日益凸显,而安全问题却愈发突出。密码技术,是实现数据安全最经济、最有效、最可靠的手段,对数据进行加密,并结合有效的密钥保护手段,可在开放环...【详细内容】
2021-11-26  炼石网络    Tags:数据存储   点击:(17)  评论:(0)  加入收藏
导读:网易大数据平台的底层数据查询引擎,选用了Impala作为OLAP查询引擎,不但支撑了网易大数据的交互式查询与自助分析,还为外部客户提供了商业化的产品与服务。今天将为大家分享...【详细内容】
2021-11-26  DataFunTalk    Tags:大数据   点击:(15)  评论:(0)  加入收藏
导读:数据挖掘是一种发现知识的手段。数据挖掘要求数据分析师通过合理的方法,从数据中获取与挖掘项目相关的知识。作者:赵仁乾 田建中 叶本华 常国珍来源:华章科技数据挖掘是一...【详细内容】
2021-11-23  华章科技  今日头条  Tags:数据挖掘   点击:(20)  评论:(0)  加入收藏
今天再给大家分享一个不错的可视化大屏分析平台模板DataColour。 data-colour 可视化分析平台采用前后端分离模式,后端架构设计采用微服务架构模式。 前端技术:Angularjs、Jq...【详细内容】
2021-11-04  web前端进阶    Tags:DashboardClient   点击:(40)  评论:(0)  加入收藏
在Kubernetes已经成了事实上的容器编排标准之下,微服务的部署变得非常容易。但随着微服务规模的扩大,服务治理带来的挑战也会越来越大。在这样的背景下出现了服务可观测性(obs...【详细内容】
2021-11-02  大数据推荐杂谈    Tags:Prometheus   点击:(40)  评论:(0)  加入收藏
同一产品对老客户的要价竟然比新客户要高?这是当下“大数据杀熟”的直接结果。近年来,随着平台经济的蓬勃发展,大数据在为用户服务之外,也引发了多种不合理现象。为了有效遏制“...【详细内容】
2021-10-29    海外网   Tags:大数据   点击:(31)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条