您当前的位置:首页 > 电脑百科 > 程序开发 > 架构

SMP、MPP和Hadoop数据库架构方案

时间:2020-12-01 09:16:08  来源:  作者:

一、SMP数据库架构

SMP(对称多处理器结构,Symmetric Multi-Processor)数据库架构部署成本相对较低,可以运行从大型服务器到中型商用硬件的各种设备。它在提供合理的性能和吞吐量方面拥有良好的记录。

下图说明了此体系结构的基本特性 - 连接到本地或网络连接磁盘的单台计算机。实际上,有一份数据副本,因此数据一致性不是挑战。

SMP、MPP和Hadoop数据库架构方案

 

 

 

二、MPP数据库架构

MPP表示Massive Parallel Processing,海量并行处理结构。

下图提供了MPP体系结构的图示,其中协调SMP服务器接受用户SQL语句,这些语句分布在多个独立运行的数据库服务器上,这些服务器一起作为单个集群机器运行。每个节点都是一台独立的计算机,具有自己的CPU,内存和直接连接的磁盘。

使用此解决方案,在加载数据时,可以使用一致的散列算法来均匀地分布数据,这些(如果一切顺利)将导致跨集群的工作的均衡分布。MPP体系结构是数据仓库和分析平台的出色解决方案,因为查询可以分解为组件部分,并在服务器之间并行执行,从而显着提高性能。典型的产品有Teradata,在MPP平台上存储和处理的数据量可以达到TB或PB级别。

SMP、MPP和Hadoop数据库架构方案

 

与SMP解决方案相比,MPP架构具有几个明显的优势,其中包括:

性能:这是MPP系统真正擅长的领域。提供的数据和处理可以在集群中的节点之间并行地均匀执行,即使是最大的SMP服务器,性能也会显着增加。

可伸缩性和并发性:与SMP解决方案不同,基于MPP的系统可以选择逐步添加计算和存储资源,并且吞吐量大大提高了算术速率。添加额外的相同大小的节点可以提高系统处理其他查询的能力,而不会显着降低性能。

成本和高可用性:一些基于MPP的数据仓库解决方案旨在在廉价的商用硬件上运行,而无需可能包含成本的企业级双冗余组件。这些解决方案通常使用自动数据复制来提高系统弹性并确保高可用性。这可以非常有效地利用资源,并且避免了许多基于SMP的解决方案所使用的大量未使用的热备用的成本。

读写吞吐量:当数据分布在整个系统中时,该解决方案可以实现非常高的吞吐量,因为读写操作可以在集群中的独立节点上并行执行。

三、SQL over HDFS的Hadoop架构

MySQL和PostgreSQL(开源数据库)不同,Hadoop不是单一产品,而是相关项目的开源生态系统。Hadoop/HDFS架构和MPP架构类似,下图说明了相似性。

SMP、MPP和Hadoop数据库架构方案

 

Hadoop旨在处理非常大的数据集和大型集群。

 

Hadoop不是单一产品,而是一个庞大的软件生态系统,部署通常需要熟练掌握一系列工具,包括HDFS、Yarn、Spark、Impala、Hive、Flume、Zookeeper和Kafka。即使是大规模的MPP解决方案,部署和维护也比Hadoop简单得多。



Tags:数据库架构   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
为正确的案例选择正确的模式 前言困惑的特德恳求说:"很难相信这是不可能的。""这是2020年;当然,必须有另一种方式"。这是Acme Widgets的教学时刻。他们技术堆栈中的数据库发生...【详细内容】
2020-12-07  Tags: 数据库架构  点击:(155)  评论:(0)  加入收藏
一、SMP数据库架构SMP(对称多处理器结构,Symmetric Multi-Processor)数据库架构部署成本相对较低,可以运行从大型服务器到中型商用硬件的各种设备。它在提供合理的性能和吞吐量...【详细内容】
2020-12-01  Tags: 数据库架构  点击:(526)  评论:(0)  加入收藏
在分布式系统里面,往往制约整个系统发展的瓶颈点就是数据库,所以数据库的架构和高可用以及数据库的切分都是我们值得花大力气去学习的。首先我们来说说数据库的架构。1、mysql...【详细内容】
2020-06-09  Tags: 数据库架构  点击:(55)  评论:(0)  加入收藏
本文以MYSQL数据库为例说明。一、数据库架构原则有以下几种:1、高可用2、高性能3、一致性4、扩展性二、常见的架构方案: 方案一:主备架构,只有主库提供读写服务,备库冗余作故障转...【详细内容】
2019-12-24  Tags: 数据库架构  点击:(119)  评论:(0)  加入收藏
数据库作为基础软件中的重要一环有着很深的技术含量,在这样的大背景下国产数据库厂商开始发力,这其中分布式数据库如雨后春笋般出现,良性的竞争环境使它们都得到了长足的发展,其...【详细内容】
2019-11-19  Tags: 数据库架构  点击:(152)  评论:(0)  加入收藏
背景在互联网初创时期,企业往往采用单体架构去搭建自己的应用系统,但是,随着企业的不断壮大,系统访问量不断随之上升,数据量也急剧增长。数据的存储是首先要解决的问题,在这个大数...【详细内容】
2019-11-01  Tags: 数据库架构  点击:(120)  评论:(0)  加入收藏
一、数据库架构原则 高可用 高性能 一致性 扩展性二、常见的架构方案方案一:主备架构,只有主库提供读写服务,备库冗余作故障转移用 jdbc:mysql://vip:3306/xxdb1、高可用分析:高...【详细内容】
2019-09-27  Tags: 数据库架构  点击:(121)  评论:(0)  加入收藏
一、数据库架构原则 高可用 高性能 一致性 扩展性二、常见的数据库架构方案方案一:主备架构,只有主库提供读写服务,备库冗余作故障转移用 jdbc:mysql://vip:3306/xxdb1、 高...【详细内容】
2019-09-16  Tags: 数据库架构  点击:(195)  评论:(0)  加入收藏
本文总结一下接触过的关系型数据库常用的几种架构及其演进历史。...【详细内容】
2019-08-16  Tags: 数据库架构  点击:(253)  评论:(0)  加入收藏
一、数据库架构原则 高可用 高性能 一致性 扩展性二、常见的架构方案方案一:主备架构,只有主库提供读写服务,备库冗余作故障转移用 jdbc:mysql://vip:3306/xxdb1、高可用分析...【详细内容】
2019-06-28  Tags: 数据库架构  点击:(347)  评论:(0)  加入收藏
▌简易百科推荐
为了构建高并发、高可用的系统架构,压测、容量预估必不可少,在发现系统瓶颈后,需要有针对性地扩容、优化。结合楼主的经验和知识,本文做一个简单的总结,欢迎探讨。1、QPS保障目标...【详细内容】
2021-12-27  大数据架构师    Tags:架构   点击:(3)  评论:(0)  加入收藏
前言 单片机开发中,我们往往首先接触裸机系统,然后到RTOS,那么它们的软件架构是什么?这是我们开发人员必须认真考虑的问题。在实际项目中,首先选择软件架构是非常重要的,接下来我...【详细内容】
2021-12-23  正点原子原子哥    Tags:架构   点击:(7)  评论:(0)  加入收藏
现有数据架构难以支撑现代化应用的实现。 随着云计算产业的快速崛起,带动着各行各业开始自己的基于云的业务创新和信息架构现代化,云计算的可靠性、灵活性、按需计费的高性价...【详细内容】
2021-12-22    CSDN  Tags:数据架构   点击:(10)  评论:(0)  加入收藏
▶ 企业级项目结构封装释义 如果你刚毕业,作为Java新手程序员进入一家企业,拿到代码之后,你有什么感觉呢?如果你没有听过多模块、分布式这类的概念,那么多半会傻眼。为什么一个项...【详细内容】
2021-12-20  蜗牛学苑    Tags:微服务   点击:(8)  评论:(0)  加入收藏
我是一名程序员关注我们吧,我们会多多分享技术和资源。进来的朋友,可以多了解下青锋的产品,已开源多个产品的架构版本。Thymeleaf版(开源)1、采用技术: springboot、layui、Thymel...【详细内容】
2021-12-14  青锋爱编程    Tags:后台架构   点击:(20)  评论:(0)  加入收藏
在了解连接池之前,我们需要对长、短链接建立初步认识。我们都知道,网络通信大部分都是基于TCP/IP协议,数据传输之前,双方通过“三次握手”建立连接,当数据传输完成之后,又通过“四次挥手”释放连接,以下是“三次握手”与“四...【详细内容】
2021-12-14  架构即人生    Tags:连接池   点击:(16)  评论:(0)  加入收藏
随着移动互联网技术的快速发展,在新业务、新领域、新场景的驱动下,基于传统大型机的服务部署方式,不仅难以适应快速增长的业务需求,而且持续耗费高昂的成本,从而使得各大生产厂商...【详细内容】
2021-12-08  架构驿站    Tags:分布式系统   点击:(23)  评论:(0)  加入收藏
本系列为 Netty 学习笔记,本篇介绍总结Java NIO 网络编程。Netty 作为一个异步的、事件驱动的网络应用程序框架,也是基于NIO的客户、服务器端的编程框架。其对 Java NIO 底层...【详细内容】
2021-12-07  大数据架构师    Tags:Netty   点击:(16)  评论:(0)  加入收藏
前面谈过很多关于数字化转型,云原生,微服务方面的文章。虽然自己一直做大集团的SOA集成平台咨询规划和建设项目,但是当前传统企业数字化转型,国产化和自主可控,云原生,微服务是不...【详细内容】
2021-12-06  人月聊IT    Tags:架构   点击:(23)  评论:(0)  加入收藏
微服务看似是完美的解决方案。从理论上来说,微服务提高了开发速度,而且还可以单独扩展应用的某个部分。但实际上,微服务带有一定的隐形成本。我认为,没有亲自动手构建微服务的经历,就无法真正了解其复杂性。...【详细内容】
2021-11-26  GreekDataGuy  CSDN  Tags:单体应用   点击:(35)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条