您当前的位置:首页 > 互联网百科 > 大数据

什么是数据标准,如何做好数据标准管理?

时间:2021-08-09 10:54:23  来源:  作者:亿信华辰

在万物互联的当下,数字经济生态基本覆盖了社会生产的方方面面,数据不再只是单纯的经营活动副产品,还成为了开发新型商业模式的基础资产和创造未来发展机遇的战略资源。想要高效低成本地运营一个项目、部门、公司,乃至城市,数据化思维都是重要的一环。

什么是数据标准,如何做好数据标准管理?

 

如果一个企业尚未建立起有效的数据管理机制,将可能导致各业务系统在数据层面遭遇重重障碍、难以顺利推进,更无法充分挖掘出数据内涵的价值。而其中数据标准化管理是数据管理体系中具有基础意义的一环,它是一个涉及范围广、业务复杂、数据繁杂的工程。

今天小亿就来为大家说说数据标准管理是什么,能为公司带来哪些益处。

 

一、什么是数据标准管理?

1.定义

数据标准是指企业为保障数据的内外部使用和交换的一致性和准确性而制定的规范性约束。而数据标准管理则是一套由管理制度、管控流程、技术工具共同组成的体系,是通过这套体系的推广,应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化。

 

2.目标

数据标准管理的目标是通过统一的数据标准制定和发布,结合制度约束、系统控制等手段,实现数据的完整性、有效性、一致性、规范性、开放性和共享性管理,为数据资产管理提供经管理依据。

什么是数据标准,如何做好数据标准管理?

▲数据治理体系架构

对于大多数企业而言,他们已有各种各样的信息规范,如建模规范,但是这些规范只是为了约束开发工作,更多的时候强调的是数据字典表达的规范。而企业级数据标准的目标却是使企业内部在业务和数据上达成共识,业务共识在先,数据共识在后。从一个IT管理的数据规范变成企业级的数据标准,将是非常大的转变,这个转变的核心是以数据标准提高业务的规范性和业务协同能力,同时约束IT系统建设。

 

二、为什么要做好数据标准管理?

数据标准管理是规范数据标准的制定和实施的一系列活动,是数据资产管理的核心活动之一,对于政府和企业提升数据质量、厘清数据构成、打通数据孤岛、加快数据流通、释放数据价值有着至关重要的作用。

可以说,数据标准是数据管理的基础性工作,是数据管理建设中的首要环节,具体主要体现在以下几个方面:

(1)数据标准为数据平台提供统一的数据标准定义和平台逻辑模型;

(2)数据标准是数据平台进行数据治理的依据和根本;

(3)数据标准是衡量数据平台数据资产运营和管理的评估依据;

(4)需要通过数据标准管理的实施,实现对数据平台全网数据的统一运营管理。

什么是数据标准,如何做好数据标准管理?

 

三、建设数据标准体系必备的前提条件

1.构建数据标准管理组织

数据标准体系建设需要得到企业高层的重视和支持,更需要企业的所有部门共同参与。形成高层决策、数据标准管理部门统筹、各部门参与的数据标准管理的长效机制。其中高层是数据标准化工作的最高决策机构,数据标准化工作小组负责组织推动企业数据标准化工作。

什么是数据标准,如何做好数据标准管理?

 

2.制定数据标准管理制度

制定相关数据标准管理办法、细则等,从制度层面明确了标准化中相关方的职责,建立了数据标准制定与分布、落地执行流程、变更与复审机制,使数据标准在机制上得到保障。

 

四、数据标准规范包含哪些项目?

数据标准由业务标准、技术标准和管理标准组成。例如:数据项的业务定义、业务规则、质量规则为该数据的业务标准;数据项的名称、编码、类型、长度等为该数据的技术标准;数据的管理流程、管理部门、管理人员为该数据的管理标准。

1.业务标准规范

通过对实体数据的标准化定义,解决了数据不一致、不完整、不准确等问题,通知数据的内容范围需要核定,主要和业务强关联,由基础指标和计算指标标准组成,具有特定的业务含义。

 

2.技术标准规范

数据范围规范工作完成之后,需要对数据的编码规则、命名规则进行规范,主要包括数据源、数据项、逻辑模型标准、物理模型标准、元数据、公共码值标准等;

什么是数据标准,如何做好数据标准管理?

 

3.管理标准规范

数据标准管理是一个涉及范围广、业务复杂、数据繁杂的工程。数据标准管理绝非是一个部门的事情,不能在企业的单一部门得到解决。数据管理制度章程是确保对标准数据管理进行有效实施的认责制度。建立标准数据管理制度和流程体系是需要明确标准数据的归口部门和岗位,明确各岗位职责,明确每个标准数据的申请、审批、变更、共享的流程。需要从整个组织考虑,建立专业的数据管理组织体系,明确数据标准工作的目标和内容,并监督及考核数据标准的贯彻与执行。

 

五、如何做好数据标准管理?

1.包含哪些内容?

在数据管理部门进行针对各种数据项的标准化过程中,结合实际工作情况,一般可以将标准规范分为两类,一种是基础数据标准,一种是指标数据标准,以两类细分规范来进行更进一步的管理,为后续的各种数据管理工作提供便利。

(1)基础类数据标准

基础类数据标准通过各种业务处理产生或各类渠道采集的基础性数据,在范围内必须是唯一定义的,如“统一社会信用代码”、“归属地市”等。基础类数据标准分为行业参考模型实体标准和公共代码标准。

什么是数据标准,如何做好数据标准管理?

 

(2)指标类数据标准

指标类数据标准是数据基础上按照一定业务规则加工汇总的数据,如宏观经济指标数据。指标类数据又可分为基础指标和计算指标。基础指标一般不含维度信息,且具有特定业务和经济含义。计算指标通常由两个以上基础指标计算出。

基础数据标准和指标数标准根据各自业务主题进行细分,应尽可能涵盖企业的主要业务,并且覆盖企业生产系统中产生的所有业务数据。以银行为例,如图所示:

什么是数据标准,如何做好数据标准管理?

 

2.数据标准的梳理

众所周知,建设一个业务系统实际上是将企业或者行业的运作机制IT化和系统化的过程,需要从梳理业务流程和管理流程开始。类似的,建设数据标准就是将数据的表达和使用,统一和系统化的过程。而在这个过程中,首先就要梳理数据产生和应用的全部范围。对企业来说,这意味着数据标准的建立需要从盘点企业内部全部生产系统中的数据开始。

数据标准涉及到的实体对象存在很多,为了方便建设和记忆,往往采用的是顶层设计的梳理方法:

(1)首先构建数据标准的主题域,厘清数据主题域之间的逻辑关系;

(2)再逐级分解,定义各个主题域下的重要实体和实体间关系;

(3)最后定义每个实体中的标准信息项,包括业务含义、质量规则、安全级别、值域范围、代码集等内容。

数据标准的建设并不难掌握,关键是建设过程中需要收集并整理大量的业务规范、制定章程、法律法规、监管规定、国家标准,并将这些规定具象到数据标准定义的信息项中。对于一个从未做过数据标准的实施团队而言,这将意味着巨大的工作量。

 

六、数据标准建设中的注意事项

(1)数据标准统一规划。以数据资产管理需求为导向,结合数据标准规范指导内容,构建适应数据平台的数据标准体系,并制定数据标准实施方案。

(2)建立数据标准挂历的支撑体系。要求包括数据标准管理组织架构、数据标准管理办法和制度流程,以及数据标准管理支撑工具。

(3)注意数据平台中数据业务口径和技术口径有效协同统一问题

(4)要满足数据平台的平台化、产品化和数据资产运营的需求。

(5)需支持数据平台的数据接口标准化定义

(6)满足原有数据可逐步进行数据标准规范的迁移和统一。

 

七、数据标准建设方案

亿信华辰旗下的EsDataStandard数据标准管理平台,可以有效的帮助企业建立规范的数据应用标准,消除数据的不一致性,从根本上改善和解决系统的数据质量问题,实现数据有效共享,并通过智能化的管理方法,让企业轻松享受大数据带来的便利和效益。

1.内置标准一键应用

平台内置一批国标、行标,可一键应用大大提高项目交付效率。另外平台内置标准的技术、业务、管理、质量属性,结合灵活的定义方式,从手工创建、导入、拾取、智能识别等,可帮助客户快速构建基础标准、指标标准、代码标准。

什么是数据标准,如何做好数据标准管理?

 

2.智能追踪标准历史

平台支持标准增、删、改、查、发布、审核等各种基础操作,其变更过程能被自动记录,通过变更版本控制,追踪标准历史。另外平台还提供了灵活细致的用户权限管理机制,满足不同用户管理各自的标准的场景。

什么是数据标准,如何做好数据标准管理?

 

3.可视化的界面一目了然

实现数据从创建到消亡全生命周期的可视化,数据标准的建立也是完全可视的,并且实现全角色的可视化,不管是执行层还是决策层都可对数据标准的完善起到关键作用。

什么是数据标准,如何做好数据标准管理?

 

EsDataStandard数据标准管理平台包括:标准分类管理、标准增删改查、标准导入导出、标准评审、标准发布、标准版本管理、标准落地映射、标准落地评估、标准监控等功能。同时为更好的保障数据标准的落地,最好结合元数据管理工具一起使用。

什么是数据标准,如何做好数据标准管理?

 

如果你已经非常明确自家数据体系存在数据病症,急缺一个可以妙手回春的良医的话,EsDataStandard数据标准管理平台一定是一个非常明智的选择。



Tags:数据标准   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
在万物互联的当下,数字经济生态基本覆盖了社会生产的方方面面,数据不再只是单纯的经营活动副产品,还成为了开发新型商业模式的基础资产和创造未来发展机遇的战略资源。想要高效...【详细内容】
2021-08-09  Tags: 数据标准  点击:(125)  评论:(0)  加入收藏
随着大数据行业的兴起,数据的重要性不言而喻,对数据进行应用的工具层出不穷,带来了巨大的经济效益。可很快就发现了诸多数据问题,制约了数据应用的持续发展。但企业处理数据问题...【详细内容】
2020-09-30  Tags: 数据标准  点击:(176)  评论:(0)  加入收藏
▌简易百科推荐
张欣安科瑞电气股份有限公司 上海嘉定 201801 摘要:随着电力行业各系统接入,海量数据涌现,如何利用电网信息化中大量数据,对客户需求进行判断分析,服务于营销链条,提升企业市场竞...【详细内容】
2021-12-14  安科瑞张欣    Tags:大数据   点击:(9)  评论:(0)  加入收藏
1、什么是数据分析结合分析工具,运用数据分析思维,分析庞杂数据信息,为业务赋能。 2、数据分析师工作的核心流程:(1)界定问题:明确具体问题是什么;●what 发生了什么(是什么)●why 为...【详细内容】
2021-12-01  逆风北极光    Tags:大数据   点击:(25)  评论:(0)  加入收藏
在实际工作中,我们经常需要整理各个业务部门发来的数据。不仅分散,而且数据量大、格式多。单是从不同地方汇总整理这些原始数据就花了大量的时间,更不用说还要把有效的数据收集...【详细内容】
2021-11-30  百数    Tags:数据   点击:(21)  评论:(0)  加入收藏
数据作为新的生产要素,其蕴含的价值日益凸显,而安全问题却愈发突出。密码技术,是实现数据安全最经济、最有效、最可靠的手段,对数据进行加密,并结合有效的密钥保护手段,可在开放环...【详细内容】
2021-11-26  炼石网络    Tags:数据存储   点击:(17)  评论:(0)  加入收藏
导读:网易大数据平台的底层数据查询引擎,选用了Impala作为OLAP查询引擎,不但支撑了网易大数据的交互式查询与自助分析,还为外部客户提供了商业化的产品与服务。今天将为大家分享...【详细内容】
2021-11-26  DataFunTalk    Tags:大数据   点击:(15)  评论:(0)  加入收藏
导读:数据挖掘是一种发现知识的手段。数据挖掘要求数据分析师通过合理的方法,从数据中获取与挖掘项目相关的知识。作者:赵仁乾 田建中 叶本华 常国珍来源:华章科技数据挖掘是一...【详细内容】
2021-11-23  华章科技  今日头条  Tags:数据挖掘   点击:(20)  评论:(0)  加入收藏
今天再给大家分享一个不错的可视化大屏分析平台模板DataColour。 data-colour 可视化分析平台采用前后端分离模式,后端架构设计采用微服务架构模式。 前端技术:Angularjs、Jq...【详细内容】
2021-11-04  web前端进阶    Tags:DashboardClient   点击:(39)  评论:(0)  加入收藏
在Kubernetes已经成了事实上的容器编排标准之下,微服务的部署变得非常容易。但随着微服务规模的扩大,服务治理带来的挑战也会越来越大。在这样的背景下出现了服务可观测性(obs...【详细内容】
2021-11-02  大数据推荐杂谈    Tags:Prometheus   点击:(40)  评论:(0)  加入收藏
同一产品对老客户的要价竟然比新客户要高?这是当下“大数据杀熟”的直接结果。近年来,随着平台经济的蓬勃发展,大数据在为用户服务之外,也引发了多种不合理现象。为了有效遏制“...【详细内容】
2021-10-29    海外网   Tags:大数据   点击:(31)  评论:(0)  加入收藏
本人03年开始从事贸易行业,多年来一直致力于外贸获客和跨境电商选品等领域,最近有些小伙伴反馈海关数据演示的都挺好为啥用起来不是那么回事?大家看到数据时关注的有产品、采购...【详细内容】
2021-10-28  QD云龙    Tags:数据   点击:(33)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条