您当前的位置:首页 > 电脑百科 > 数据库 > 百科

MongoDB写入数据策略

时间:2023-03-09 11:59:41  来源:微信公众号  作者:云数据库技术

上篇文章介绍了Mongo读取数据的策略(​​MongoDB读数据策略​​),主要是readconcern、readpreference两参数,其中readconcern作用于服务端,决定了什么时候能读取到数据;readpreference在客户端配置,决定读哪个节点的数据。本文将要介绍Mongo的写入策略,在介绍写入策略前,先简单说明MongoDB的Journaling特性。

Journaling介绍

MongoDB也有防carsh能力,和MySQL类似,也是通过预先写日志(WAL)到文件实现,这文件就是Journaling功能。

To provide durability in the event of a fAIlure, MongoDB uses write ahead logging to on-disk journal files.

◀日志文件▶

开启Journaling功能后,Mongo 会在数据库目录下创建 journal目录,用来存放journal日志,以WiredTiger引擎为例,文件格式是WiredTigerLog.<sequence>,其中<sequence>是从0000000001开始的零填充数字。journal日志文件默认大小为100 MB,超过该限制后,将创建一个新的日记文件,并会自动删除旧的日志文件,仅保留从上一个检查点恢复所需的文件。所以journal日志文件一般情况下只会生成两三个,除非每秒有大量的写操作发生。

◀日志记录▶

journal记录有这几个特点:

它包括由初始写入引起的任何内部写入操作。例如,对集合中文档的更新可能会导致对索引的修改;WiredTiger创建单个日志记录,其中包含更新操作及其关联的索引修改。

每个记录都有一个唯一的标识符。

WiredTiger的最小日志记录大小为128字节。

另外,为了提高存储效率,MongoDB牺牲了一些CPU性能,对WiredTiger引擎对日志数据使用压缩存储,默认压缩方式是snAppy压缩,也支持其他压缩方式,比如:zstd、zlib等,可以通过下面方式设置。

storage.wiredTiger.engineConfig.journalCompressor

 

总之,Journaling 是MongoDB中非常重要的一项功能,类似于关系数据库中的事务日志。Journaling能够使MongoDB由于意外故障后快速恢复。在2.0版本后,默认开启了该功能。和MySQL一样,Mongo 实例启动时会检查journal日志文件,确认是否有需要恢复的数据。不过由于提交journal日志会产生写入阻塞,所以它对写入的操作有性能影响,但在生产环境中通常还是开启Journaling的。

数据写入策略

writeconcern 是Mongo针对写操作的参数,表示写请求对 mongod 实例的确认级别,决定数据的持久性。它可以用下面三个选项表示。

{ w: <value>, j: <boolean>, wtimeout: <number> }

◀writeconcern 选项▶

w指定写操作需要应用到多少个数据节点才能返回成功,可以为0、1、2、3或者majority。

  • w: 0 表示客户端不需要收到任何有关写操作,就直接返回成功。
  • w: 1 表示写主成功,就直接返回成功。
  • w: majority 需要收到多数节点(含主节点)关于操作执行成功的确认,具体个数根据复制集配置自动得出。比如,一主两从3节点的集群,则需要2个节点确认写入成功即可。
  • w: N(N > 1)表示N个数据节点确认才返回成功。w 值越大,对客户端来说,数据的安全性保证越强,同时写操作的延迟越大。w 设置的节点数越多,等待的延迟也就越大。如果 w 等于总节点数,那么一旦其中某个节点出现故障就会导致整个写入失败,这也是有风险的。另外,针对Hidden、delayed和priority为0的数据节点,官方也特别做了说明,如下:

NOTE

Hidden, delayed, and priority 0 members can acknowledge w: <number> write operations.

Delayed secondaries can return write acknowledgment no earlier than the configured slaveDelay.

注意:

a、副本集中Hidden、delayed和priority为0的成员,可以确认w: <number>的写操作。

b、延迟节点的返回写ack,不会早于配置的slavedelay值  。

如果集群有 3 三个数据节点,在w: majority模式下 ,只需要写入两个数据节点即可返回,流程如下:

 

图片

 

j表示写操作是否要被持久化,只能选填 true 或 false。

  • j:false 表示写操作到cache即算作成功。
  • j:true 表示写操作到文件中才算成功。

从3.2版本后,如果指定j:true,即使 w:0 ,只有在请求的成员数(包括主成员)写入日志后才返回数据。因此,j:true设置保证了MongoDB的数据持久化。

Changed in version 3.2: With j: true, MongoDB returns only after the requested number of members, including the primary, have written to the journal.

另外,仅仅j:true 不保证集群 failover 时发生回滚的写操作。

j: true does not by itself guarantee that the write will not be rolled back due to replica set primary failover.

wtimeout:返回确认的超时时间,单位为毫秒。

如果写入操作超过该值,则返回错误,即使最终写入是成功了,但数据库不会撤销超时写入的数据。如果没有指定 wtimeout 值,则写入操作将无限期阻塞,wtimeout:0 等同于该选项未设置值。同时,这个参数和 WriteConncern 的w值有关,并且只适用于w大于0的情况。比如:w:0,表示可以超时无限大,则不返回错误;w:1,只和主节点确认的超时时间;w:majority,表示需要和多数节点确认超时时间。

◀数据提交策略▶

MongoDB也有和MySQL有类似的提交策略,是由 commitIntervalMs 参数控制,它是日志持久化的间隔时间(以毫秒为单位)。如果想要更好的数据安全,可以设为每毫秒对cache中的数据做硬盘层面的sync;如果需要更好的写入性能,最大可以改为每500毫秒做一次sync。它的取值范围是1 ~ 500毫秒,默认值是100毫秒,不支持in-memory 存储引擎。

总结

MongoDB 写入策略包括以下几个方面:

  • w:指定写入数据后需要在多少个节点上同步写入成功后,才返回确认信息。
  • j:设置 j:true 会将数据写入日志中,可以在节点宕机时恢复数据。但是 j:true 并不保证数据已经写入磁盘文件中。
  • wtimeout:指定写入超时时间。当写入操作达到超时时间时,即使最终成功写入也会返回错误信息。

在实际使用中,可以根据具体的业务需求和系统环境来选择适合的写入策略,以达到最佳的性能和可靠性。例如,在数据一致性要求高的场景中,可以使用 majority 写入确认来保证数据同步的可靠性。而在性能要求高、数据不敏感的场景中,可以使用 w 值较小的写入关注点来提高写入性能。

本文转载自微信公众号「云数据库技术」



Tags:MongoDB   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
MongoDB 大量数据插入时的性能影响及解决方法
MongoDB 是一种广泛应用的 NoSQL 数据库,以其高度可扩展性和灵活性而闻名。然而,在处理大量数据时,MongoDB 的性能可能会受到一些影响。大量数据插入对 MongoDB 性能的影响磁盘...【详细内容】
2024-01-05  Search: MongoDB  点击:(130)  评论:(0)  加入收藏
Java操作MongoDB如何批量写入数据
当需要插入、更新或删除大量文档时,一次执行多个操作比分别执行每个操作要快得多。批量操作减少了网络往返次数,减少了I/O负载,并且可能允许数据库引擎更有效地利用内部缓存和...【详细内容】
2023-12-19  Search: MongoDB  点击:(95)  评论:(0)  加入收藏
解析MongoDB的并发控制和事务隔离级别:保证数据一致性
MongoDB 是一个高性能的文档型数据库,支持多维度的并发控制和事务隔离级别,以保证数据一致性。接下来,下面将详细讲解 MongoDB 的并发控制和事务隔离级别。一、并发控制MongoDB...【详细内容】
2023-12-19  Search: MongoDB  点击:(106)  评论:(0)  加入收藏
MongoDB与大数据处理:构建高性能分布式数据库
MongoDB是一种非关系型数据库,具有高度灵活性和可扩展性。在处理大量数据时,索引的优化是提升查询性能的关键。下面将介绍一些MongoDB索引优化的指南,帮助用户更好地利用索引来...【详细内容】
2023-12-18  Search: MongoDB  点击:(72)  评论:(0)  加入收藏
MongoDB索引优化指南:提升查询性能的关键
MongoDB是一种非关系型数据库,具有高度灵活性和可扩展性。在处理大量数据时,索引的优化是提升查询性能的关键。下面将介绍一些MongoDB索引优化的指南,帮助用户更好地利用索引来...【详细内容】
2023-12-14  Search: MongoDB  点击:(122)  评论:(0)  加入收藏
Mongodb和Elasticsearch计算经纬度哪个性能更好
MongoDB和Elasticsearch都支持计算经纬度距离,但它们的性能表现可能因使用场景和数据规模而异。性能对比1、数据索引和存储 MongoDB使用地理空间索引(2dsphere)来支持经纬度数...【详细内容】
2023-12-11  Search: MongoDB  点击:(213)  评论:(0)  加入收藏
解密MongoDB集群管理:构建高可用性数据库架构
MongoDB集群管理是指在MongoDB数据库环境中构建高可用性的数据库架构,以确保数据的持久性、可用性和性能。下面将详细介绍构建高可用性数据库架构的相关概念、方法和步骤。一...【详细内容】
2023-12-06  Search: MongoDB  点击:(140)  评论:(0)  加入收藏
Java和MongoDB的异常检测
构建实时监控和告警系统是当今许多企业和组织所需要的关键功能之一。Java和MongoDB的异常检测是这样的一个监控系统中的重要组成部分。下面将详细介绍如何使用Java和MongoDB...【详细内容】
2023-11-23  Search: MongoDB  点击:(212)  评论:(0)  加入收藏
构建高可用的MongoDB部署架构:应对故障和灾难恢复
MongoDB 是一种流行的 NoSQL 数据库,广泛用于各种规模的应用程序。为了确保数据的高可用性和灾难恢复能力,构建一个可靠的 MongoDB 部署架构至关重要。本文将重点介绍如何构建...【详细内容】
2023-11-21  Search: MongoDB  点击:(199)  评论:(0)  加入收藏
Java与MongoDB的定时任务管理
构建一个高效的任务调度系统对于许多应用程序来说是至关重要的。下面将探讨如何使用Java和MongoDB来实现一个可靠且高效的定时任务管理系统。一、概述任务调度系统是一种将...【详细内容】
2023-11-16  Search: MongoDB  点击:(217)  评论:(0)  加入收藏
▌简易百科推荐
向量数据库落地实践
本文基于京东内部向量数据库vearch进行实践。Vearch 是对大规模深度学习向量进行高性能相似搜索的弹性分布式系统。详见: https://github.com/vearch/zh_docs/blob/v3.3.X/do...【详细内容】
2024-04-03  京东云开发者    Tags:向量数据库   点击:(5)  评论:(0)  加入收藏
原来 SQL 函数是可以内联的!
介绍在某些情况下,SQL 函数(即指定LANGUAGE SQL)会将其函数体内联到调用它的查询中,而不是直接调用。这可以带来显著的性能提升,因为函数体可以暴露给调用查询的规划器,从而规划器...【详细内容】
2024-04-03  红石PG  微信公众号  Tags:SQL 函数   点击:(5)  评论:(0)  加入收藏
如何正确选择NoSQL数据库
译者 | 陈峻审校 | 重楼Allied Market Research最近发布的一份报告指出,业界对于NoSQL数据库的需求正在持续上升。2022年,全球NoSQL市场的销售额已达73亿美元,预计到2032年将达...【详细内容】
2024-03-28    51CTO  Tags:NoSQL   点击:(14)  评论:(0)  加入收藏
为什么数据库连接池不采用 IO 多路复用?
这是一个非常好的问题。IO多路复用被视为是非常好的性能助力器。但是一般我们在使用DB时,还是经常性采用c3p0,tomcat connection pool等技术来与DB连接,哪怕整个程序已经变成以...【详细内容】
2024-03-27  dbaplus社群    Tags:数据库连接池   点击:(13)  评论:(0)  加入收藏
八个常见的数据可视化错误以及如何避免它们
在当今以数据驱动为主导的世界里,清晰且具有洞察力的数据可视化至关重要。然而,在创建数据可视化时很容易犯错误,这可能导致对数据的错误解读。本文将探讨一些常见的糟糕数据可...【详细内容】
2024-03-26  DeepHub IMBA  微信公众号  Tags:数据可视化   点击:(7)  评论:(0)  加入收藏
到底有没有必要分库分表,如何考量的
关于是否需要进行分库分表,可以根据以下考量因素来决定: 数据量和负载:如果数据量巨大且负载压力较大,单一库单一表可能无法满足性能需求,考虑分库分表。 数据增长:预估数据增长...【详细内容】
2024-03-20  码上遇见你  微信公众号  Tags:分库分表   点击:(15)  评论:(0)  加入收藏
在 SQL 中写了 in 和 not in,技术总监说要炒了我……
WHY?IN 和 NOT IN 是比较常用的关键字,为什么要尽量避免呢?1、效率低项目中遇到这么个情况:t1表 和 t2表 都是150w条数据,600M的样子,都不算大。但是这样一句查询 &darr;select *...【详细内容】
2024-03-18  dbaplus社群    Tags:SQL   点击:(6)  评论:(0)  加入收藏
应对慢SQL的致胜法宝:7大实例剖析+优化原则
大促备战,最大的隐患项之一就是慢SQL,对于服务平稳运行带来的破坏性最大,也是日常工作中经常带来整个应用抖动的最大隐患,在日常开发中如何避免出现慢SQL,出现了慢SQL应该按照什...【详细内容】
2024-03-14  京东云开发者    Tags:慢SQL   点击:(5)  评论:(0)  加入收藏
过去一年,我看到了数据库领域的十大发展趋势
作者 | 朱洁策划 | 李冬梅过去一年,行业信心跌至冰点2022 年中,红衫的一篇《适应与忍耐》的报告,对公司经营提出了预警,让各个公司保持现金流,重整团队,想办法增加盈利。这篇报告...【详细内容】
2024-03-12    InfoQ  Tags:数据库   点击:(27)  评论:(0)  加入收藏
SQL优化的七个方法,你会哪个?
一、插入数据优化 普通插入:在平时我们执行insert语句的时候,可能都是一条一条数据插入进去的,就像下面这样。INSERT INTO `department` VALUES(1, &#39;研发部(RD)&#39;, &#39...【详细内容】
2024-03-07  程序员恰恰  微信公众号  Tags:SQL优化   点击:(20)  评论:(0)  加入收藏
站内最新
站内热门
站内头条