您当前的位置:首页 > 互联网百科 > 大数据

数据仓库的架构是什么样的,大家可以通过这篇文章了解一下

时间:2020-11-13 10:02:24  来源:  作者:

今天这篇文章,给大家讲述一下数据仓库的架构模式,作为我们一起探讨的内容。希望大家留言、评论,我们一起学习。

一 说到数据仓库,那么我们先来了解一下数据仓库的基本概念

数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。通俗一点说就是,数据仓库就是集合了各源系统的数据,同时对数据进行ETL,并最终作为数据服务方,对外提供数据服务。

 我们了解了数据仓库的基本概念,也清楚了数据仓库的作用,那么我们在实际工作中,数据仓库究竟是什么样的呢?以我的工作为例,我是从事在银行业,经历过各种不同类型的银行,但是数据仓库的模式大体相同。那让我们来看下数据仓库都是包含哪些东西吧。

首先,我们来看下数据仓库整体架构。

数据仓库的架构是什么样的,大家可以通过这篇文章了解一下

通过这张图,我们可以清楚地看到,数据仓库从横向上可以分为几个模块:

源数据层----数据交换层----数据集成层-----数据服务层-----数据交换层-----数据应用层----用户

下面我们逐个简单说下每一层的概念。

1 源数据层:源数据层就是指源系统的数据,数据类型包括结构化数据(按照方式存储的数据),半结构化和非结构化数据(一般是互联网行为数据、语音、影像等数据)。

2数据交换层:主要是指通过数据交换平台,将源系统的数据(源系统的数据一般是以文件的形式传输到数据仓库)抽取转换,由原来的数据文件,通过数据库解析,并最终进入到数据仓库ODS层。

3 数据集成层:数据集成层包括了ODS,DWD,DWS,BDM,ADM

ODS:数据仓库中最底层数据,基本上都是在源系统的数据基础上,增加一个数据日期字段,先存储到贴源层对对应的数据表中,然后通过数据仓库拉链技术,进行数据拉链式存储。

关于拉链技术,请参考上篇文章进行了解。

https://m.toutiao.com/is/JH2YRUX/

DWD:明细数据层,是业务层与数据仓库的隔离层,这一层主要是用来解决数据质量的问题,比如有的数据有空格,回车,或者数据不完整等。

DWS:数据汇总层,该层主要是按照不同的主题纬度,进行数据汇总冗余。主题纬度一般分为:产品纬度,账户纬度,渠道纬度,协议纬度等,数据表一般是宽表的形式,即将各纬度的数据尽可能多的存储到一张表里,这样在查询的时候就不用关联其他表了。

BDM:应用层,这一层主要是用来为下游应用产生个性化,定制化数据。一般也是按照各主题域进行划分,如客户主题、风险主题、交易主题、资产主题等,这一层也会有一些模型工厂,即通过模型工具定期执行产生的模型预测类数据。

注:应用层在一些银行的数据仓库里是没有的。直接从DWS到ADM 层了。

ADM:集市层,也可以理解为一个小型数据仓库,比数据仓库数据粒度更细化,更加面向应用需求。现在我接触的数据集市主要有个人集市、对公集市、风险集市、营销集市。现在有些数据集市是作为一个单独模块拿出来独立运营,有些数据集市还是会放到数据仓库或者大数据平台中。但是集市层的数据源都是数据仓库或者直接是源系统。

数据集市可以和数据仓库并行,数据集市的数据源来自数据仓库和源系统。也可以和数据仓库串行,数据源来自于数据仓库。看每个行的具体情况而定。下面我会写一篇文章来简单聊一下个人客户集市的建设。

4 数据服务层:通过对数据集市数据进行二次加工分析,形成对外服务输出数据,直接通过数据交换平台,输出到各应用系统。

5 数据应用层:主要是通过解析数据服务层数据,并写入到应用系统数据库,供业务人员使用。

 总结一下

数据仓库就是将源系统的数据进行抽取,转换,加工,按照不同纬度、主题形成面向业务的数据,然后通过一定的数据接口提供给各业务系统。

数据仓库主要包括。ODS,DWD,DWS,ADM。

ODS:贴源层

DWD:明细层

DWS:汇总层

ADM:集市层

好了,这篇文章就给大家写到这里了,希望大家留言、评论。我们一起探讨,学习。大家喜欢的,可以点个关注 ,我会不定期更新文章,将自己的经验分享出来。



Tags:数据仓库   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
架构是数据仓库建设的总体规划,从整体视角描述了解决方案的高层模型,描述了各个子系统的功能以及关系,描述了数据从源系统到决策系统的数据流程。业务需求回答了要做什么,架构就...【详细内容】
2021-11-03  Tags: 数据仓库  点击:(35)  评论:(0)  加入收藏
01.什么是大数据?数据是对客观事实进行记录的一种符号,可以是数字、文字,也可以是图片、音频、视频。大数据是指无法在一定时间范围内用常规软件进行捕捉、管理和数据的数据集...【详细内容】
2021-06-25  Tags: 数据仓库  点击:(78)  评论:(0)  加入收藏
这几年的数据领域出现好多的概念,例如:人工智能、物联网、边缘计算、数据治理、数据湖、数据中台……可谓是“百花齐放”!一时间大家都在提新概念,但却不是所有人都...【详细内容】
2021-02-25  Tags: 数据仓库  点击:(152)  评论:(0)  加入收藏
UML对系统架构的定义是:系统的组织结构,包括系统分解的组成部分,它们的关联性,交互,机制和指导原则,例如对系统群就是定义各子系统的功能和职责,如贷款系统群可能分为进件申请、核...【详细内容】
2021-02-24  Tags: 数据仓库  点击:(163)  评论:(0)  加入收藏
数据仓库?真的有必要吗?我曾经和一个业务系统负责人聊起数据仓库,他感到很疑惑,“我们数据库里不是有现成的数据吗?你们数据分析师直接用就好了,为什么还要花人力物力去建设什么数...【详细内容】
2021-01-27  Tags: 数据仓库  点击:(190)  评论:(0)  加入收藏
一、Hive基础简介1、基础描述Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,是一个可以对Hadoop中的大规模存储的数据进行查询和分析存储的组件,Hive数据...【详细内容】
2021-01-05  Tags: 数据仓库  点击:(132)  评论:(0)  加入收藏
今天这篇文章,给大家讲述一下数据仓库的架构模式,作为我们一起探讨的内容。希望大家留言、评论,我们一起学习。一 说到数据仓库,那么我们先来了解一下数据仓库的基本概念。数据...【详细内容】
2020-11-13  Tags: 数据仓库  点击:(142)  评论:(0)  加入收藏
一、数据仓库体系架构公司借助的第三方数据平台,在此平台之上建设数据仓库。因为第三方平台集成了很多东西,所以省去了不少功夫。数据仓库的体系架构,无外乎就是数据源、数据采...【详细内容】
2020-10-04  Tags: 数据仓库  点击:(999)  评论:(0)  加入收藏
关于数据仓库的概念、原理、建设方法论,网上已经有很多内容了,也有很多的经典书籍,本文更想聊聊企业数据仓库项目上的架构和组件工具问题。先来谈谈架构。企业数据仓库架构关于...【详细内容】
2020-09-30  Tags: 数据仓库  点击:(133)  评论:(0)  加入收藏
自创立之日起,酷克数据一直致力于降低企业进行大数据分析的门槛,推动数据民主化。今天,我们朝这个目标迈出了第一步:酷克数据在青云QingCloud上推出基于PostgreSQL和Greenplum D...【详细内容】
2020-08-03  Tags: 数据仓库  点击:(269)  评论:(0)  加入收藏
▌简易百科推荐
张欣安科瑞电气股份有限公司 上海嘉定 201801 摘要:随着电力行业各系统接入,海量数据涌现,如何利用电网信息化中大量数据,对客户需求进行判断分析,服务于营销链条,提升企业市场竞...【详细内容】
2021-12-14  安科瑞张欣    Tags:大数据   点击:(9)  评论:(0)  加入收藏
1、什么是数据分析结合分析工具,运用数据分析思维,分析庞杂数据信息,为业务赋能。 2、数据分析师工作的核心流程:(1)界定问题:明确具体问题是什么;●what 发生了什么(是什么)●why 为...【详细内容】
2021-12-01  逆风北极光    Tags:大数据   点击:(25)  评论:(0)  加入收藏
在实际工作中,我们经常需要整理各个业务部门发来的数据。不仅分散,而且数据量大、格式多。单是从不同地方汇总整理这些原始数据就花了大量的时间,更不用说还要把有效的数据收集...【详细内容】
2021-11-30  百数    Tags:数据   点击:(21)  评论:(0)  加入收藏
数据作为新的生产要素,其蕴含的价值日益凸显,而安全问题却愈发突出。密码技术,是实现数据安全最经济、最有效、最可靠的手段,对数据进行加密,并结合有效的密钥保护手段,可在开放环...【详细内容】
2021-11-26  炼石网络    Tags:数据存储   点击:(17)  评论:(0)  加入收藏
导读:网易大数据平台的底层数据查询引擎,选用了Impala作为OLAP查询引擎,不但支撑了网易大数据的交互式查询与自助分析,还为外部客户提供了商业化的产品与服务。今天将为大家分享...【详细内容】
2021-11-26  DataFunTalk    Tags:大数据   点击:(15)  评论:(0)  加入收藏
导读:数据挖掘是一种发现知识的手段。数据挖掘要求数据分析师通过合理的方法,从数据中获取与挖掘项目相关的知识。作者:赵仁乾 田建中 叶本华 常国珍来源:华章科技数据挖掘是一...【详细内容】
2021-11-23  华章科技  今日头条  Tags:数据挖掘   点击:(20)  评论:(0)  加入收藏
今天再给大家分享一个不错的可视化大屏分析平台模板DataColour。 data-colour 可视化分析平台采用前后端分离模式,后端架构设计采用微服务架构模式。 前端技术:Angularjs、Jq...【详细内容】
2021-11-04  web前端进阶    Tags:DashboardClient   点击:(39)  评论:(0)  加入收藏
在Kubernetes已经成了事实上的容器编排标准之下,微服务的部署变得非常容易。但随着微服务规模的扩大,服务治理带来的挑战也会越来越大。在这样的背景下出现了服务可观测性(obs...【详细内容】
2021-11-02  大数据推荐杂谈    Tags:Prometheus   点击:(40)  评论:(0)  加入收藏
同一产品对老客户的要价竟然比新客户要高?这是当下“大数据杀熟”的直接结果。近年来,随着平台经济的蓬勃发展,大数据在为用户服务之外,也引发了多种不合理现象。为了有效遏制“...【详细内容】
2021-10-29    海外网   Tags:大数据   点击:(31)  评论:(0)  加入收藏
本人03年开始从事贸易行业,多年来一直致力于外贸获客和跨境电商选品等领域,最近有些小伙伴反馈海关数据演示的都挺好为啥用起来不是那么回事?大家看到数据时关注的有产品、采购...【详细内容】
2021-10-28  QD云龙    Tags:数据   点击:(33)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条