您当前的位置:首页 > 电脑百科 > 程序开发 > 架构

「系统架构」Elasticsearch是如何保证数据的一致性和实时性的

时间:2020-07-27 17:07:35  来源:  作者:

 

「系统架构」Elasticsearch是如何保证数据的一致性和实时性的

ElasticSearch是建立在全文搜索引擎 Apache Lucene(TM) 基础上的分布式、高性能、高可用、可伸缩的实时搜索和分析引擎。可支持扩展到上百台服务器,处理PB级别的结构化或非结构化数据。常用于日志数据分析、商品检索等场景。

索引的写入机制

Elasticsearch索引是以分片的形式进行保存的,一个索引由多个主分片(默认为5个)组成,每一个主分片通常有一个或多个副本。

「系统架构」Elasticsearch是如何保证数据的一致性和实时性的

当数据写入的时候,Elasticsearch首先根据路由规则对路由参数(路由参数默认使用_id,当然Index Request中也可以设置使用哪个Filed的值作为路由参数)进行Hash取模,确定要写入的主分片。

shard = hash(routing) % number_of_primary_shards

然后,通过集群状态信息,找出要写入的主分片所在的节点,将请求转发到此节点。当主分片成功写入数据后,会并行地将请求转发送给它的副本。当请求在全部副本上执行成功,并响应主分片后,主分片将结果返回给客户端。

「系统架构」Elasticsearch是如何保证数据的一致性和实时性的

在Elasticsearch将索引数据写入分片的过程中,首先会将索引数据保存到内存缓存中,与此同时还生成translog(这是保证数据一致性的关键)。然后,再以默认1秒的速度,将内存缓存中的数据按片段(segment)为单位刷新到文件系统的缓存中。要保证索引数据能被搜索,将索引数据刷新到文件系统的缓存中是关键。

由于内存缓存中的数据,默认每1秒都会以片段(segment)的方式刷新至文件系统缓存中,所以,如果不进行片段合并,文件缓存中的片段数将非常庞大。因此,为减少片段(segment)数量,在将内存中的索引片段刷新到文件系统的缓存中时,Elasticsearch会将多个小的片段(segment)合并成一个大的片段(segment),当大片段合成完后,小的片段将会被删除掉。

前面已经提到,Elasticsearch索引数据的一致性是通过translog来保证的,默认情况下,Elasticsearch每5秒,或每次请求操作结束前,就会强制刷新translog到磁盘上,当translog成功保存到磁盘后,translog就会被Elasticsearch删除。

分片的分配机制

每一个索引数据都是由多个分片租成的,当创建索引、删除索引、新增索引副本、增减节点时,就会发生分片分配操作。某个分片分配到哪个节点,一般来说,是由Elasticsearch自动决定的。

Elasticsearch中,比较常见的分配策略有两种:

  1. 磁盘限额:为了保护节点数据安全,Elasticsearch会定时(默认30秒)检查一下各节点的数据目录磁盘使用情况。当达到cluster.routing.allocation.disk.watermark.low(默认85%)时,新索引分片就不会再分配到这个节点上。当达到cluster.routing.allocation.disk.watermark.high(默认90%)时,就会触发该节点现存分片的数据均衡,把数据挪到其他节点上去。这两个值不但可以写百分比,还可以写具体的字节数。
  2. 热索引分片不均匀:默认情况下,Elasticsearch集群的数据均衡策略时以各节点的分片总数作为基准的。这对于搜索服务来说无疑是均衡搜索压力、提升性能的好办法。但对于ELK stack场景,一般压力集中在新索引的数据写入方面。正常运行的时候,也没有问题。但当集群扩容时,新加入集群的节点,分片总数远低于其他节点。这个时候如果有新索引创建,Elasticsearch的默认策略会导致新索引的所有主分片几乎全部分配到这台新节点上。整个集群的写入压力,压在一个节点上,结果很可能是这个节点直接被压死,集群出现异常。所以,对于ELK stack场景,强烈建议大家预先计算好索引的分片数后,配置好单节点分片的限额。


Tags:系统架构   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
一:业务背景优惠券是电商常见的营销手段,具有灵活的特点,既可以作为促销活动的载体,也是重要的引流入口。优惠券系统是vivo商城营销模块中一个重要组成部分,早在15年vivo商城还是...【详细内容】
2021-08-06  Tags: 系统架构  点击:(74)  评论:(0)  加入收藏
昨天有网友问我,他原先没有学过奥数,问能不能当系统架构师?其他也有人有疑问,是不是应该先学数学,然后在考研的时候转入计算机? 我先说一下结论,没有学过奥数,完全可以当系统架构师...【详细内容】
2021-03-09  Tags: 系统架构  点击:(233)  评论:(0)  加入收藏
UML对系统架构的定义是:系统的组织结构,包括系统分解的组成部分,它们的关联性,交互,机制和指导原则,例如对系统群就是定义各子系统的功能和职责,如贷款系统群可能分为进件申请、核...【详细内容】
2021-02-24  Tags: 系统架构  点击:(163)  评论:(0)  加入收藏
分布式理论知识1、分布式系统架构1.1基础概念分布式 : 将一个单体项目分成很多个模块,各个模块协同工作,各个模块构成了分布式系统集群:针对单个模块或者单个系统在多台服务器上...【详细内容】
2021-01-28  Tags: 系统架构  点击:(110)  评论:(0)  加入收藏
由于多年前开发了一款聊天软件,今天朋友给我打电话,说他们公司准备开发一款内部使用的沟通交流工具,找我咨询关于即时聊天软件一些经验,于是跟他聊了一些关于这方面的东西,所以在...【详细内容】
2020-12-22  Tags: 系统架构  点击:(282)  评论:(0)  加入收藏
搭建自己的DNS服务器是一个很常见的诉求,尤其是在公司内部。Linux下架设DNS服务器通常是使用BIND程序来实现,BIND是美国加利福尼亚大学伯克利分校开发的软件,是一套域名服务器...【详细内容】
2020-10-15  Tags: 系统架构  点击:(104)  评论:(0)  加入收藏
一、数据仓库体系架构公司借助的第三方数据平台,在此平台之上建设数据仓库。因为第三方平台集成了很多东西,所以省去了不少功夫。数据仓库的体系架构,无外乎就是数据源、数据采...【详细内容】
2020-10-04  Tags: 系统架构  点击:(999)  评论:(0)  加入收藏
在数字化革命和AI赋能的大背景下,推荐场景逻辑越来越复杂,推荐细分场景越来越丰富,对业务迭代和效果优化的效率有了更高的要求。推荐系统业务和技术在传统架构支撑下自然堆砌,变...【详细内容】
2020-09-07  Tags: 系统架构  点击:(85)  评论:(0)  加入收藏
目前,各专业领域复杂系统在设计过程中,都会面临功能、性能、可靠性以及研发周期等问题,而基于传统的人工方案设计方法,使得文档、模型传递及更新迭代难度加大,同时耗时耗力。世冠...【详细内容】
2020-08-17  Tags: 系统架构  点击:(174)  评论:(0)  加入收藏
接着文章「系统架构」如何使用Dockerfile制作Docker容器?(1)我们继续介绍ENV、ARG、VOLUME、EXPOSE、WORKDIR、USER、HEALTHCHECK、ONBUILD几个命令。7、ENV这个指令很简单,就...【详细内容】
2020-08-16  Tags: 系统架构  点击:(77)  评论:(0)  加入收藏
▌简易百科推荐
为了构建高并发、高可用的系统架构,压测、容量预估必不可少,在发现系统瓶颈后,需要有针对性地扩容、优化。结合楼主的经验和知识,本文做一个简单的总结,欢迎探讨。1、QPS保障目标...【详细内容】
2021-12-27  大数据架构师    Tags:架构   点击:(3)  评论:(0)  加入收藏
前言 单片机开发中,我们往往首先接触裸机系统,然后到RTOS,那么它们的软件架构是什么?这是我们开发人员必须认真考虑的问题。在实际项目中,首先选择软件架构是非常重要的,接下来我...【详细内容】
2021-12-23  正点原子原子哥    Tags:架构   点击:(7)  评论:(0)  加入收藏
现有数据架构难以支撑现代化应用的实现。 随着云计算产业的快速崛起,带动着各行各业开始自己的基于云的业务创新和信息架构现代化,云计算的可靠性、灵活性、按需计费的高性价...【详细内容】
2021-12-22    CSDN  Tags:数据架构   点击:(10)  评论:(0)  加入收藏
▶ 企业级项目结构封装释义 如果你刚毕业,作为Java新手程序员进入一家企业,拿到代码之后,你有什么感觉呢?如果你没有听过多模块、分布式这类的概念,那么多半会傻眼。为什么一个项...【详细内容】
2021-12-20  蜗牛学苑    Tags:微服务   点击:(8)  评论:(0)  加入收藏
我是一名程序员关注我们吧,我们会多多分享技术和资源。进来的朋友,可以多了解下青锋的产品,已开源多个产品的架构版本。Thymeleaf版(开源)1、采用技术: springboot、layui、Thymel...【详细内容】
2021-12-14  青锋爱编程    Tags:后台架构   点击:(20)  评论:(0)  加入收藏
在了解连接池之前,我们需要对长、短链接建立初步认识。我们都知道,网络通信大部分都是基于TCP/IP协议,数据传输之前,双方通过“三次握手”建立连接,当数据传输完成之后,又通过“四次挥手”释放连接,以下是“三次握手”与“四...【详细内容】
2021-12-14  架构即人生    Tags:连接池   点击:(16)  评论:(0)  加入收藏
随着移动互联网技术的快速发展,在新业务、新领域、新场景的驱动下,基于传统大型机的服务部署方式,不仅难以适应快速增长的业务需求,而且持续耗费高昂的成本,从而使得各大生产厂商...【详细内容】
2021-12-08  架构驿站    Tags:分布式系统   点击:(23)  评论:(0)  加入收藏
本系列为 Netty 学习笔记,本篇介绍总结Java NIO 网络编程。Netty 作为一个异步的、事件驱动的网络应用程序框架,也是基于NIO的客户、服务器端的编程框架。其对 Java NIO 底层...【详细内容】
2021-12-07  大数据架构师    Tags:Netty   点击:(16)  评论:(0)  加入收藏
前面谈过很多关于数字化转型,云原生,微服务方面的文章。虽然自己一直做大集团的SOA集成平台咨询规划和建设项目,但是当前传统企业数字化转型,国产化和自主可控,云原生,微服务是不...【详细内容】
2021-12-06  人月聊IT    Tags:架构   点击:(23)  评论:(0)  加入收藏
微服务看似是完美的解决方案。从理论上来说,微服务提高了开发速度,而且还可以单独扩展应用的某个部分。但实际上,微服务带有一定的隐形成本。我认为,没有亲自动手构建微服务的经历,就无法真正了解其复杂性。...【详细内容】
2021-11-26  GreekDataGuy  CSDN  Tags:单体应用   点击:(35)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条