您当前的位置:首页 > 互联网百科 > 大数据

这些数据开发的术语,你都知道吗?

时间:2022-08-29 16:31:09  来源:今日头条  作者:华夏金领大数据

数据开发技术方向主要有数据仓库、在线分析处理(OLAP)以及数据挖掘三部分组成。

一、数据仓库:架构

1.数据仓库 Data Warehouse,DW

数据仓库是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。它出于分析性报告和决策支持目的而创建。

2.数据集市

①数据集市 Data Mart,DM

②操作集市 Oper Mart

3.ODS 操作数据存储Operational Data Storage,ODS

4.ETL Extract-Transform-Load

一、数据仓库:抽象

1.主题

①主题Subject

②主题域Subject Area

2.主体

3.模型

①模型Model

②数据模型Data Model

③业务数据模型Business Data Model

④逻辑数据模型Logical Data Model,LDM

⑤物理数据模型Physical Data Model,PDM

⑥实体Entity

⑦关系RelatIOShip

⑧属性Attribute

⑨实体关系Entity Relationship,ER

⑩事实Fact

⑪维度Dimension

⑫维的层次Hierarchy of Dimension

⑬维的级别Level of Dimension

⑭维的成员Level of Dimension

⑮业务过程Business Process

⑯度量Measure

⑰指标Metric

⑱指示器Indicator

⑲粒度GrAIn

⑳度量值Measures

一、数据仓库:建模

1.模型查询

①即席查询Ad Hoc Queries

②冰山查询 Iceberg Query

③交叉探察 Drill Across

④实体建模Entity Modeling

⑤范式建模Third Normal Form,3NF

⑥维度建模Dimensional Modeling、总线架构Bus Architecture、一致性维度Comformed Dimension、一致性事实Comformed Fact

2.事实表

①事实表Fact Table

以粒度的不同来化分,事实表可以分为三类,分别是事务粒度事实表,周期快照粒度事实表和累积快照粒度事实表。

①事务粒度事实表Transaction Grain Fact Table

②周期快照粒度事实表Periodic Snapshot Grain Fact Table

③累积快照粒度事实表AccumulatingSnapshot Grain Fact Table

以用途的不同来化分,事实表可以分为三类,分别是原子事实表,聚集事实表和合并事实表。

①原子事实表Atom Fact Table

②聚集事实表Aggregated Fact Table

③合并事实表Consolidated/Merged Fact Table

其他类型事实表

①非事实型事实表Factless Fact Table

②蜈蚣事实表Centipede Fact Table

③旋转事实表Pivoted Fact Table

④切片事实表Sliced FactTable

⑤稀疏事实表Sparse Facts

3.维度表

①维度表Dimension Table

②代理关键字 Surrogate Key

③缓慢变化维度SlowlyChanging Dimension SCD

④退化维度Degenerate Dimension

⑤微型维度-Minidimension

⑥多值维度Multivalue Dimension

⑦角色模仿维度RolePlayingDimensions

⑧杂项维度Junk Dimension

4.宽表

宽表Wide table

在维度建模的基础上又分为三种模型:星型模型、雪花模型、星座模型。

星型模式:星型模式StarSchema

雪花模式:雪花模式SnowflakeSchema

星座模式:事实星座模式FactConstellation或星系模式galaxy schema

5.数据分析 BI

商业智能BusinessIntelligenceBI

OLTP

联机事务处理Online Transaction Processing,OLTP

OLAP

①大规模并行计算框架Massively Parallel Processing,MPP

②联机分析处理OLAPOnlineAnalytical Processing,OLAP

③MOLAP

④ROLAP

⑤HOLAP

6.多维分析

①多维分析MultidimensionalAnalvsis

②立方体Cube

③钻取 Drill Down

④上卷Roll Up

⑤切片Slice

⑥切块(Dice

⑦旋转Pivot

二、数据挖掘:机器学习

①机器学习machineLearning

②标签Lable

③特征Feature

④样本Example

⑤模型Model

⑥策略Strategy

⑦算法Algorithm

⑧监督学习Supervised Learning

⑨回归Regression

⑩分类Classification

⑪无监督学习Unsupervised Learning

三、深度学习

深度学习DeepLearning



Tags:数据开发   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
基于Doris实时数据开发的一些注意事项
Doris的发展大家有目共睹。例如冷热分离等新特性的持续增加。使得Doris在易用和成本上都有大幅提升。基于Doris的一些存储实时数仓在越来越多的场景中开始有一些实践。大家...【详细内容】
2023-11-15  Search: 数据开发  点击:(220)  评论:(0)  加入收藏
这些数据开发的术语,你都知道吗?
数据开发技术方向主要有数据仓库、在线分析处理(OLAP)以及数据挖掘三部分组成。一、数据仓库:架构1.数据仓库 Data Warehouse,DW数据仓库是构建面向分析的集成化数据环境,为企业...【详细内容】
2022-08-29  Search: 数据开发  点击:(420)  评论:(0)  加入收藏
大数据开发之数据仓库架构分析
架构是数据仓库建设的总体规划,从整体视角描述了解决方案的高层模型,描述了各个子系统的功能以及关系,描述了数据从源系统到决策系统的数据流程。业务需求回答了要做什么,架构就...【详细内容】
2021-11-03  Search: 数据开发  点击:(338)  评论:(0)  加入收藏
如何使用贸易数据开发客户?
本人03年开始从事贸易行业,多年来一直致力于外贸获客和跨境电商选品等领域,最近有些小伙伴反馈海关数据演示的都挺好为啥用起来不是那么回事?大家看到数据时关注的有产品、采购...【详细内容】
2021-10-28  Search: 数据开发  点击:(281)  评论:(0)  加入收藏
大数据开发-Yarn的工作原理
本期给大家带来的是Yarn的工作原理相关知识点,作为大数据开发中众多框架中的一个,Yarn为什么会如此重要以至于要单独开一期来说?下面就为你揭晓Yarn的工作原理! 一、什么是Yar...【详细内容】
2021-04-26  Search: 数据开发  点击:(517)  评论:(0)  加入收藏
大数据开发基础之JAVA基础-JDBC基础知识
本期给大家带来的是JAVA基础中的JDBC,JDBC全称:Java DataBase Connectivity Java 数据库连接, Java语言操作数据库,说白了就是用Java语言来操作数据库。在大数据开发基础中也是...【详细内容】
2021-03-16  Search: 数据开发  点击:(401)  评论:(0)  加入收藏
大数据开发语言怎么选?Scala 还是 Go
> Photo by Hendri Sabri on Unsplash介绍自从我参与DevOps和大数据以来,我一直在使用两种出色的但完全不同的编程语言:Go和Scala。Scala是一种较旧且更成熟的编程语言,已在并...【详细内容】
2020-11-24  Search: 数据开发  点击:(286)  评论:(0)  加入收藏
Windows环境下安装IDEA大数据开发环境
一.JDK1.8安装从apache官网上下载JDK1.8.x安装包: 安装过程中指定具体的安装路径,尽量不使用默认路径! 配置系统参数: 编辑Path,添加JAVA配置: 二.安装Scala编程语言 配置Scal...【详细内容】
2020-11-19  Search: 数据开发  点击:(379)  评论:(0)  加入收藏
高效大数据开发之 bitmap 思想的应用
作者:xmxiong,PCG 运营开发工程师数据仓库的数据统计,可以归纳为三类:增量类、累计类、留存类。而累计类又分为历史至今的累计与最近一段时间内的累计(比如滚动月活跃天,滚动周活...【详细内容】
2020-09-15  Search: 数据开发  点击:(282)  评论:(0)  加入收藏
大数据开发专家(40K以上)必须掌握技能!
目录:1.典型需求2.40K以上专家必备技能3.项目中的迷宫场景部件制作4.Hadoop生态核心原理一、典型需求(互联网公司) 二、40K以上专家必备技能 三、大数从业者角色分...【详细内容】
2020-04-23  Search: 数据开发  点击:(290)  评论:(0)  加入收藏
▌简易百科推荐
大数据杀熟何时告别“人人喊打却无可奈何”?
2月7日郑州飞往珠海的航班,不同手机、不同账号搜索该航班显示出不同价格。图源网络有网友近日分享在某平台的购票经历,引发社会广泛关注——用3个账号买同一航班同...【详细内容】
2024-01-30    中国青年网  Tags:大数据杀熟   点击:(33)  评论:(0)  加入收藏
简易百科:到底什么是大数据?
随着互联网的快速发展,大数据已经成为了当今社会最热门的话题之一。那么,到底什么是大数据呢?首先,我们需要明确大数据的定义。大数据是指数据量极大、类型繁多、处理难度高的数...【详细内容】
2024-01-30    简易百科  Tags:大数据   点击:(40)  评论:(0)  加入收藏
数据采集新篇章:AI与大模型的融合应用
开篇在AIGC(人工智能与通用计算)应用中,大型语言模型(LLM)占据着举足轻重的地位。这些模型,如GPT和BERT系列,通过处理和分析庞大的数据集,已经极大地推动了自然语言理解和生成的边界...【详细内容】
2024-01-17  崔皓  51CTO  Tags:数据采集   点击:(52)  评论:(0)  加入收藏
挑战 Spark 和 Flink?大数据技术栈的突围和战争
十年的轮回,正如大数据的发展一般,它既是一个轮回的结束,也是崭新的起点。大数据在过去的二十年中蓬勃发展,从无到有,崛起为最具爆炸性的技术领域之一,逐渐演变成为每个企业不可或...【详细内容】
2024-01-17  InfoQ    Tags:大数据   点击:(40)  评论:(0)  加入收藏
分布式存储系统在大数据处理中扮演着怎样的角色?
如果存储节点本身可以定制,则通常会让其支持部分计算能力,以利用数据的亲和性,将部分计算下推到相关的存储节点上。如果存储是云上的 S3 等对象存储,无法定制,则通常会将数据在计...【详细内容】
2023-12-19  木鸟杂记  微信公众号  Tags:大数据   点击:(48)  评论:(0)  加入收藏
大数据如何实时拯救生命:车联网的数据分析有助预防交通事故
译者 | 李睿审校 | 重楼车联网(IoV)是汽车行业与物联网相结合的产物。预计车联网数据规模将越来越大,尤其是当电动汽车成为汽车市场新的增长引擎。问题是:用户的数据平台准备...【详细内容】
2023-12-19    51CTO  Tags:大数据   点击:(41)  评论:(0)  加入收藏
利用生成对抗网络进行匿名化数据处理
在互联网时代,数据日益成为人们的生产资料。然而,在某些情况下,我们需要分享数据,但又需要保护个人隐私。这时,匿名化技术就显得尤为重要。本文将介绍利用生成对抗网络进行匿名化...【详细内容】
2023-12-18  技巧达人小影    Tags:数据处理   点击:(57)  评论:(0)  加入收藏
盘点那些常见的数据中心类型,你知道几个?
在数字化潮流的浪潮下,数据中心如同企业的神经系统,关系到业务的稳健运转。而在这个巨大的网络中,各种数据中心类型如雨后春笋般崭露头角。从企业级的个性至云数据中心的虚拟化...【详细内容】
2023-12-07  数据中心之家  微信公众号  Tags:数据中心   点击:(66)  评论:(0)  加入收藏
数据中心的七个关键特征
随着信息技术的不断演进,数据中心的可靠性、可扩展性、高效性、安全性、灵活性、管理性和可持续性成为业界探讨的焦点。下面让我们一同深入剖析这些关键特征,了解它们是如何影...【详细内容】
2023-12-06  数据中心之家  微信公众号  Tags:数据   点击:(63)  评论:(0)  加入收藏
什么是数据解析?将数据转化为更好的决策
什么是数据解析?数据解析是一门专注于从数据中获取洞察力的学科。它包含数据分析(data analysis)和管理的流程、工具和技术,包括数据的收集、组织和存储。数据解析的主要目的是...【详细内容】
2023-12-06  计算机世界    Tags:数据解析   点击:(62)  评论:(0)  加入收藏
站内最新
站内热门
站内头条