您当前的位置:首页 > 电脑百科 > 程序开发 > 架构

数据库软件架构,到底要设计些什么?

时间:2019-07-29 16:11:50  来源:  作者:

一、基本概念

概念一:单库

数据库软件架构,到底要设计些什么?

 

概念二:分片

数据库软件架构,到底要设计些什么?

 

分片解决“数据量太大”这一问题 ,也就是通常说的“水平切分”。

一旦引入分片,势必面临“数据路由”的新问题,数据到底要访问哪个库。 路由规则通常有 3 种方法:

(1)范围: range

优点: 简单,容易扩展。

缺点: 各库压力不均(新号段更活跃)。

(2)哈希: hash

优点: 简单,数据均衡,负载均匀。

缺点: 迁移麻烦(2库扩3库数据要迁移)。

(3)统一路由服务: router-config-server

优点: 灵活性强,业务与路由算法解耦。

缺点: 每次访问数据库前多一次查询。

大部分互联网公司采用的方案二:哈希路由 。

概念三:分组

数据库软件架构,到底要设计些什么?

 

分组解决“可用性,性能提升”这一问题 ,分组通常通过主从复制的方式实现。

互联网公司数据库实际软件架构是“ 既分片,又分组”:

数据库软件架构,到底要设计些什么?

 

数据库软件架构,究竟设计些什么呢, 至少要考虑以下四点:

  • 如何保证数据 可用性
  • 如何提高数据库 读性能 (大部分应用读多写少,读会先成为瓶颈)
  • 如何保证 一致性
  • 如何提高 扩展性
数据库软件架构,到底要设计些什么?

 

二、如何保证数据的可用性?

解决可用性问题的思路是: 冗余 。

如何保证站点的可用性? 冗余站点。

如何保证服务的可用性? 冗余服务。

如何保证数据的可用性? 冗余数据。

数据的冗余,会带来一个副作用:一致性问题。

如何保证数据库“读”高可用?

冗余读库。

数据库软件架构,到底要设计些什么?

 

冗余读库带来什么副作用?

读写有延时, 数据可能不一致 。

上图是很多互联网公司MySQL的架构,写仍然是单点,不能保证写高可用。

如何保证数据库“写”高可用?

冗余写库。

 

数据库软件架构,到底要设计些什么?

 

采用双主互备的方式,可以冗余写库。

冗余写库带来什么副作用?

双写同步,数据可能冲突 (例如“自增id”同步冲突)。

如何解决同步冲突,有两种常见解决方案:

(1)两个写库 使用不同的初始值,相同的步长来增加id :1写库的id为0,2,4,6...;2写库的id为1,3,5,7…;

(2)不使用数据的id, 业务层自己生成唯一的id ,保证数据不冲突;

阿里云的RDS服务号称 写高可用,是如何实现的呢?

他们采用的就是类似于“双主同步”的方式(不再有从库了)。

数据库软件架构,到底要设计些什么?

 

仍是双主,但只有一个主提供读写服务,另一个主是“shadow-master”,只用来保证高可用,平时不提供服务。

master挂了,shadow-master顶上,虚IP漂移,对业务层透明,不需要人工介入。

数据库软件架构,到底要设计些什么?

 

这种方式的好处:

(1)读写没有延时,无一致性问题;

(2)读写高可用;

不足是:

(1)不能通过加从库的方式扩展读性能;

(2)资源利用率为50%,一台冗余主没有提供服务;

画外音:所以,高可用RDS还挺贵的。

数据库软件架构,到底要设计些什么?

 

三、如何扩展读性能?

提高读性能的方式大致有三种,第一种是 增加索引 。

这种方式不展开,要提到的一点是,不同的库可以建立不同的索引。

 

数据库软件架构,到底要设计些什么?

 

如上图:

(1)写库不建立索引;

(2)线上读库建立线上访问索引,例如uid;

(3)线下读库建立线下访问索引,例如time;

第二种扩充读性能的方式是, 增加从库 。

这种方法大家用的比较多,存在两个缺点:

(1)从库越多,同步越慢;

(2)同步越慢,数据不一致窗口越大;

第三种增加系统读性能的方式是, 增加缓存 。

常见的缓存架构如下:

 

数据库软件架构,到底要设计些什么?

 

(1)上游是业务应用;

(2)下游是主库,从库(读写分离),缓存;

如果系统架构实施了 服务化 :

(1)上游是业务应用;

(2)中间是服务;

(3)下游是 主库,从库,缓存 ;

数据库软件架构,到底要设计些什么?

 

业务层不直接面向db和cache,服务层屏蔽了底层db、cache的复杂性。

不管采用主从的方式扩展读性能,还是缓存的方式扩展读性能,数据都要复制多份(主+从,db+cache),一定会引发一致性问题。

四、如何保证一致性?

主从数据库的一致性,通常有两种解决方案:

(1)中间件

数据库软件架构,到底要设计些什么?

 

如果某一个key有写操作,在不一致时间窗口内,中间件会将这个key的读操作也路由到主库上。

(2)强制读主

数据库软件架构,到底要设计些什么?

 

“双主高可用”的架构,主从一致性的问题能够大大缓解。

第二类不一致,是db与缓存间的不一致。

数据库软件架构,到底要设计些什么?

 

这一类不一致,《缓存架构,一篇足够?》里有非常详细的叙述,本文不再展开。

另外建议,所有允许cache miss的业务场景,缓存中的KEY都设置一个超时时间,这样即使出现不一致,有机会得到自修复。



Tags:软件架构   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
如何设计一个好的软件架构,如何提高软件的扩展性,移植性,复用性和可读性?很多做嵌入式开发的朋友经常会遇到这种情况:一个项目软件设计完成了,客户提出了一些新的功能需求。这时侯...【详细内容】
2021-11-08  Tags: 软件架构  点击:(35)  评论:(0)  加入收藏
一、架构软件架构(software architecture)是一系列相关的抽象模式,用于指导大型软件系统各个方面的设计。软件架构是一个系统的草图。软件体系结构是构建计算机软件实践的基础...【详细内容】
2021-08-31  Tags: 软件架构  点击:(78)  评论:(0)  加入收藏
1. 前言嵌入式是软件设计领域的一个分支,它自身的诸多特点决定了系统架构师的选择,同时它的一些问题又具有相当的通用性,可以推广到其他的领域。提起嵌入式软件设计,传统的印象...【详细内容】
2021-04-15  Tags: 软件架构  点击:(250)  评论:(0)  加入收藏
存在任何解决实际人类问题的业务。它可能是提高速度,降低成本,提高便利性,增加生活乐趣或使知识触手可及。通常用于解决这些业务问题的技术。但是,为什么设计模式很重要?IT系统的典型挑战是可用性,可伸缩性,弹性,数据管理,性能...【详细内容】
2021-01-14  Tags: 软件架构  点击:(176)  评论:(0)  加入收藏
今天谈下架构设计中的分层思维和分层模型以及基于分层思维下的架构构图逻辑。架构思维概述对于架构思维本身仍然是类似系统思维,结构化思维,编程思维等诸多思维模式的一个合...【详细内容】
2020-11-23  Tags: 软件架构  点击:(106)  评论:(0)  加入收藏
解耦的对立面是耦合,耦合是指阻碍变化的依赖;解耦是要在依赖的基础上,做到应对可能的变化。架构的定义架构是软件方法学的范畴,它解决的是软件组织的问题,不解决软件算法的问题。...【详细内容】
2020-11-23  Tags: 软件架构  点击:(132)  评论:(0)  加入收藏
编者语:微服务,就是将单体(monolithic)代码分解为易于维护的块,而这正是运维(devops)哲学的关键。或者说是基于不断扩展的业务而实现针对业务功能域的应用商业价值的快速交付或敏捷...【详细内容】
2020-10-30  Tags: 软件架构  点击:(101)  评论:(0)  加入收藏
架构模式是对给定上下文的软件架构中常见问题的一种通用的可复用的解决方案。一种模式就是特定上下文的问题的一种解决方案。然而,很多开发者至今还对各种软件架构模式之间的...【详细内容】
2020-10-30  Tags: 软件架构  点击:(96)  评论:(0)  加入收藏
SQLite是一个非常受欢迎的数据库,在数据库排行榜中已经进入前十的行列。这主要是因为该数据库非常小巧,而且可以支持Linux、Windows、iOS和Andriod的主流的操作系统。 SQLite...【详细内容】
2020-09-25  Tags: 软件架构  点击:(91)  评论:(0)  加入收藏
阿里达摩院的一位大佬曾经说过:要成为一名优秀的软件架构师,需要攻克以下三个难关: 需要掌握各种技术的优缺点与特性,才能知道如何使用。 站在架构设计者的角度,思考一款优秀的...【详细内容】
2020-09-02  Tags: 软件架构  点击:(103)  评论:(0)  加入收藏
▌简易百科推荐
为了构建高并发、高可用的系统架构,压测、容量预估必不可少,在发现系统瓶颈后,需要有针对性地扩容、优化。结合楼主的经验和知识,本文做一个简单的总结,欢迎探讨。1、QPS保障目标...【详细内容】
2021-12-27  大数据架构师    Tags:架构   点击:(5)  评论:(0)  加入收藏
前言 单片机开发中,我们往往首先接触裸机系统,然后到RTOS,那么它们的软件架构是什么?这是我们开发人员必须认真考虑的问题。在实际项目中,首先选择软件架构是非常重要的,接下来我...【详细内容】
2021-12-23  正点原子原子哥    Tags:架构   点击:(7)  评论:(0)  加入收藏
现有数据架构难以支撑现代化应用的实现。 随着云计算产业的快速崛起,带动着各行各业开始自己的基于云的业务创新和信息架构现代化,云计算的可靠性、灵活性、按需计费的高性价...【详细内容】
2021-12-22    CSDN  Tags:数据架构   点击:(10)  评论:(0)  加入收藏
▶ 企业级项目结构封装释义 如果你刚毕业,作为Java新手程序员进入一家企业,拿到代码之后,你有什么感觉呢?如果你没有听过多模块、分布式这类的概念,那么多半会傻眼。为什么一个项...【详细内容】
2021-12-20  蜗牛学苑    Tags:微服务   点击:(9)  评论:(0)  加入收藏
我是一名程序员关注我们吧,我们会多多分享技术和资源。进来的朋友,可以多了解下青锋的产品,已开源多个产品的架构版本。Thymeleaf版(开源)1、采用技术: springboot、layui、Thymel...【详细内容】
2021-12-14  青锋爱编程    Tags:后台架构   点击:(21)  评论:(0)  加入收藏
在了解连接池之前,我们需要对长、短链接建立初步认识。我们都知道,网络通信大部分都是基于TCP/IP协议,数据传输之前,双方通过“三次握手”建立连接,当数据传输完成之后,又通过“四次挥手”释放连接,以下是“三次握手”与“四...【详细内容】
2021-12-14  架构即人生    Tags:连接池   点击:(17)  评论:(0)  加入收藏
随着移动互联网技术的快速发展,在新业务、新领域、新场景的驱动下,基于传统大型机的服务部署方式,不仅难以适应快速增长的业务需求,而且持续耗费高昂的成本,从而使得各大生产厂商...【详细内容】
2021-12-08  架构驿站    Tags:分布式系统   点击:(23)  评论:(0)  加入收藏
本系列为 Netty 学习笔记,本篇介绍总结Java NIO 网络编程。Netty 作为一个异步的、事件驱动的网络应用程序框架,也是基于NIO的客户、服务器端的编程框架。其对 Java NIO 底层...【详细内容】
2021-12-07  大数据架构师    Tags:Netty   点击:(17)  评论:(0)  加入收藏
前面谈过很多关于数字化转型,云原生,微服务方面的文章。虽然自己一直做大集团的SOA集成平台咨询规划和建设项目,但是当前传统企业数字化转型,国产化和自主可控,云原生,微服务是不...【详细内容】
2021-12-06  人月聊IT    Tags:架构   点击:(23)  评论:(0)  加入收藏
微服务看似是完美的解决方案。从理论上来说,微服务提高了开发速度,而且还可以单独扩展应用的某个部分。但实际上,微服务带有一定的隐形成本。我认为,没有亲自动手构建微服务的经历,就无法真正了解其复杂性。...【详细内容】
2021-11-26  GreekDataGuy  CSDN  Tags:单体应用   点击:(35)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条