您当前的位置:首页 > 电脑百科 > 数据库 > 百科

深度优化数据库性能:Linux 内核参数调整解析

时间:2023-11-17 14:43:42  来源:微信公众号  作者:数据库干货铺

数据库服务器性能的优化是每个IT团队关注的焦点之一。除了数据库引擎的优化之外,合理调整操作系统的内核参数也是提高数据库性能的关键。本文将解析一些常见的 linux 内核参数,以及它们在数据库服务器优化中的作用和建议的值。

一、参数说明

1、关闭 IPv6 支持

.NET.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1

作用:关闭对 IPv6 的支持,减轻系统负担,提高安全性。

解析:

  • net.ipv6.conf.all.disable_ipv6:禁用系统中所有网络接口的IPv6。
  • net.ipv6.conf.default.disable_ipv6:禁用默认网络接口的IPv6。

说明:大多数数据库环境仍主要使用IPv4,关闭IPv6可以减轻系统对IPv6网络的处理负担,提高系统安全性。

2、防范放大攻击

net.ipv4.icmp_echo_ignore_broadcasts = 1

作用:禁用对 ICMP 广播的回应,防范 ICMP 广播放大攻击。

解析:

  • net.ipv4.icmp_echo_ignore_broadcasts:设置为1表示不回应 ICMP 广播。

说明:防范 ICMP 广播放大攻击,通过禁用对 ICMP 广播的回应,减少系统响应对可能的网络攻击的风险。

3、启用恶意 ICMP 错误消息保护

net.ipv4.icmp_ignore_bogus_error_responses = 1

作用:防止网络中的恶意主机发送虚假的 ICMP 错误消息,提高网络安全性。

解析:

  • net.ipv4.icmp_ignore_bogus_error_responses:设置为1表示忽略虚假的 ICMP 错误消息。

说明:防止网络中的恶意主机通过发送虚假的 ICMP 错误消息来欺骗系统,提高系统的安全性。

4、核心转储优化

kernel.core_uses_pid = 1

作用:配置核心转储文件名中包含PID,方便识别和调查问题。

解析:

  • kernel.core_uses_pid:设置为1表示在核心转储文件名中包含PID。

说明:在数据库环境中,当发生进程崩溃时,生成的核心转储文件包含进程的PID,有助于精确定位问题,加速故障排查。

5、启用 SYN 洪水攻击保护

net.ipv4.tcp_syncookies = 1

作用:启用 SYN 洪水攻击保护,防范网络攻击。

解析:

  • net.ipv4.tcp_syncookies:设置为1表示启用 SYN 洪水攻击保护。

说明:SYN 洪水攻击是一种常见的DDoS攻击方式,通过启用 SYN 洪水攻击保护,系统可以更好地应对大量的虚假连接请求,确保正常的网络服务。

6、调整消息队列和共享内存

kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296

作用:适当调整消息队列和共享内存的大小,以满足数据库的需求。

解析:

  • kernel.msgmnb:设置消息队列的最大字节数。
  • kernel.msgmax:设置消息队列中单个消息的最大字节数。
  • kernel.shmmax:设置最大共享内存段的大小。
  • kernel.shmall:设置系统范围内所有共享内存的总页数。

说明:通过调整消息队列和共享内存的大小,可以满足数据库通信和数据共享的需求,优化系统性能。

7、调整 TIME-WAIT 状态和 TCP 缓冲区

net.ipv4.tcp_max_tw_buckets = 655350
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_rmem = 32768 131072 16777216
net.ipv4.tcp_wmem = 8192 131072 16777216

作用:优化TCP连接的管理,避免资源耗尽,并提高性能。

解析:

  • net.ipv4.tcp_max_tw_buckets:设置 TIME-WAIT 状态的最大数量。
  • net.ipv4.tcp_tw_recycle:设置为1表示启用 TIME-WAIT 快速回收。
  • net.ipv4.tcp_tw_reuse:设置为1表示允许将 TIME-WAIT sockets 重新用于新的TCP 连接。
  • net.ipv4.tcp_rmem:设置TCP接收缓冲区的最小、默认和最大字节数。
  • net.ipv4.tcp_wmem:设置TCP发送缓冲区的最小、默认和最大字节数。

说明:调整 TIME-WAIT 状态和 TCP 缓冲区参数,有助于优化系统处理大量TCP连接的性能,防止资源耗尽。

8、调整网络连接和资源管理

net.core.somaxconn = 65535
net.core.netdev_max_backlog = 262144
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_timestamps = 0

作用:提高系统的网络性能和连接管理。

解析:

  • net.core.somaxconn:设置待处理连接的最大队列长度。
  • net.core.netdev_max_backlog:设置每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目。
  • net.ipv4.tcp_max_orphans:设置系统允许的最大孤立的TCP连接数量。
  • net.ipv4.tcp_max_syn_backlog:设置TCP同时等待处理的最大连接请求数。
  • net.ipv4.tcp_timestamps:设置为0表示禁用TCP时间戳。

说明:通过调整这些参数,可以提高系统处理连接的能力,有效管理网络资源,防止系统性能瓶颈。

9、配置 TCP Keepalive 和超时参数

net.ipv4.tcp_keepalive_time = 120
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl = 15
net.ipv4.tcp_retries2 = 5

作用:提高TCP连接的稳定性和可靠性。

解析:

  • net.ipv4.tcp_keepalive_time:设置TCP连接的空闲时间,超过此时间将发送keepalive消息。
  • net.ipv4.tcp_keepalive_probes:设置TCP发送keepalive消息的次数。
  • net.ipv4.tcp_keepalive_intvl:设置TCP发送keepalive消息的频率。
  • net.ipv4.tcp_retries2:设置连接失败后重新尝试的最大次数。

说明:通过配置TCP Keepalive和超时参数,确保长时间运行的连接保持稳定,减少因连接中断导致的性能损失。

10、文件描述符和缓存优化

fs.file-max = 65536
vm.dirty_background_ratio = 5
vm.dirty_ratio = 10

作用:增加文件描述符限制和调整系统文件缓存大小,提高数据库读取和写入效率。

解析:

  • fs.file-max:设置系统最大文件描述符数。
  • vm.dirty_background_ratio:设置系统脏页(尚未同步到磁盘的页)的最小百分比。
  • vm.dirty_ratio:设置系统脏页的最大百分比。

说明:通过增加文件描述符限制和调整系统文件缓存大小,可以优化数据库读写性能,提高系统整体性能。

11、调整虚拟内存管理

vm.swAppiness = 0

作用:优化虚拟内存管理,减少对交换空间的依赖

说明:设置vm.swappiness为0表示尽量使用物理内存,减少对交换空间的频繁使用,提高系统整体性能

12、 调整内核崩溃和恢复策略

kernel.panic = 5
kernel.panic_on_oops = 1
kernel.core_pipe_limit = 0

作用: 配置内核崩溃和恢复策略,提高系统稳定性

说明: 通过调整这些参数,可以更好地应对内核崩溃和系统出现问题的情况,提高系统的稳定性和可靠性

13、调整网络连接追踪

net.nf_conntrack_max = 25000000
net.ipv4.netfilter.ip_conntrack_max = 655350
net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 1200

作用: 优化网络连接追踪,提高系统网络性能

说明: 调整网络连接追踪相关参数,可以更好地适应大量网络连接的环境,提高系统网络性能

14、限制系统打开的端口范围

net.ipv4.ip_local_port_range = 1024 65535

作用: 限制系统打开的端口范围,提高系统安全性

说明: 通过限制可用端口范围,可以减少潜在的安全风险,提高系统安全性

二、结语

深度调优数据库服务器性能需要综合考虑多个方面,包括网络安全、连接管理、资源利用等。合理配置 Linux 内核参数是提高数据库性能的关键缓解之一。通过这些深度调优,可以更好地发挥数据库在高负载环境下的性能潜力,实现数据库性能的巅峰状态。



Tags:数据库   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
向量数据库落地实践
本文基于京东内部向量数据库vearch进行实践。Vearch 是对大规模深度学习向量进行高性能相似搜索的弹性分布式系统。详见: https://github.com/vearch/zh_docs/blob/v3.3.X/do...【详细内容】
2024-04-03  Search: 数据库  点击:(4)  评论:(0)  加入收藏
如何正确选择NoSQL数据库
译者 | 陈峻审校 | 重楼Allied Market Research最近发布的一份报告指出,业界对于NoSQL数据库的需求正在持续上升。2022年,全球NoSQL市场的销售额已达73亿美元,预计到2032年将达...【详细内容】
2024-03-28  Search: 数据库  点击:(13)  评论:(0)  加入收藏
为什么数据库连接池不采用 IO 多路复用?
这是一个非常好的问题。IO多路复用被视为是非常好的性能助力器。但是一般我们在使用DB时,还是经常性采用c3p0,tomcat connection pool等技术来与DB连接,哪怕整个程序已经变成以...【详细内容】
2024-03-27  Search: 数据库  点击:(12)  评论:(0)  加入收藏
过去一年,我看到了数据库领域的十大发展趋势
作者 | 朱洁策划 | 李冬梅过去一年,行业信心跌至冰点2022 年中,红衫的一篇《适应与忍耐》的报告,对公司经营提出了预警,让各个公司保持现金流,重整团队,想办法增加盈利。这篇报告...【详细内容】
2024-03-12  Search: 数据库  点击:(25)  评论:(0)  加入收藏
让数据库和缓存数据保持一致的三种策略
如何保证缓存和数据库的一致性,这算得上是个老生常谈的话题啦,看到好多技术新人在写更新缓存数据代码,采用了非常复杂甚至“诡异”的方案,甚为不解。一、背景目前随着缓存架构方...【详细内容】
2024-02-20  Search: 数据库  点击:(35)  评论:(0)  加入收藏
MySQL数据库如何生成分组排序的序号
经常进行数据分析的小伙伴经常会需要生成序号或进行数据分组排序并生成序号。在MySQL8.0中可以使用窗口函数来实现,可以参考历史文章有了这些函数,统计分析事半功倍进行了解。...【详细内容】
2024-01-30  Search: 数据库  点击:(53)  评论:(0)  加入收藏
一篇文章,彻底理解数据库操作语言:DDL、DML、DCL、TCL
本篇文章以具体的SQL语句讲解了数据库SQL语言四大分类(数据定义语言DDL,数据操作语言DML,数据查询语言DQL,数据控制语言DCL),同时也介绍了事务控制语言TCL。最近与开发和运维讨论...【详细内容】
2024-01-30  Search: 数据库  点击:(41)  评论:(0)  加入收藏
一文读懂:什么是数据库,它到底有啥用?
提到数据库,可能很多人会很陌生。但据库其实已经渗入我们生活的方方面面,像网上购物、扫码点餐、抢红包等等应用背后都离不开数据库的支持。可以说数据库是支撑各类应用软件运...【详细内容】
2024-01-25  Search: 数据库  点击:(42)  评论:(0)  加入收藏
oracle数据库基础学习
在当今数字化时代,数据库已成为企业运营的关键要素。而Oracle数据库,作为全球领先的企业级数据库管理系统,更是备受推崇。本文将带您深入了解Oracle数据库的基础知识,帮助您从零...【详细内容】
2024-01-20  Search: 数据库  点击:(85)  评论:(0)  加入收藏
一个流行的支持超多数据库的ORM库
Sequelize 是一个流行的 Node.js ORM(对象关系映射)库,用于在 Node.js 中操作关系型数据库。它支持多种数据库系统,如 PostgreSQL、MySQL、SQLite 和 MSSQL,并提供了简单易用的 A...【详细内容】
2024-01-15  Search: 数据库  点击:(74)  评论:(0)  加入收藏
▌简易百科推荐
向量数据库落地实践
本文基于京东内部向量数据库vearch进行实践。Vearch 是对大规模深度学习向量进行高性能相似搜索的弹性分布式系统。详见: https://github.com/vearch/zh_docs/blob/v3.3.X/do...【详细内容】
2024-04-03  京东云开发者    Tags:向量数据库   点击:(4)  评论:(0)  加入收藏
原来 SQL 函数是可以内联的!
介绍在某些情况下,SQL 函数(即指定LANGUAGE SQL)会将其函数体内联到调用它的查询中,而不是直接调用。这可以带来显著的性能提升,因为函数体可以暴露给调用查询的规划器,从而规划器...【详细内容】
2024-04-03  红石PG  微信公众号  Tags:SQL 函数   点击:(3)  评论:(0)  加入收藏
如何正确选择NoSQL数据库
译者 | 陈峻审校 | 重楼Allied Market Research最近发布的一份报告指出,业界对于NoSQL数据库的需求正在持续上升。2022年,全球NoSQL市场的销售额已达73亿美元,预计到2032年将达...【详细内容】
2024-03-28    51CTO  Tags:NoSQL   点击:(13)  评论:(0)  加入收藏
为什么数据库连接池不采用 IO 多路复用?
这是一个非常好的问题。IO多路复用被视为是非常好的性能助力器。但是一般我们在使用DB时,还是经常性采用c3p0,tomcat connection pool等技术来与DB连接,哪怕整个程序已经变成以...【详细内容】
2024-03-27  dbaplus社群    Tags:数据库连接池   点击:(12)  评论:(0)  加入收藏
八个常见的数据可视化错误以及如何避免它们
在当今以数据驱动为主导的世界里,清晰且具有洞察力的数据可视化至关重要。然而,在创建数据可视化时很容易犯错误,这可能导致对数据的错误解读。本文将探讨一些常见的糟糕数据可...【详细内容】
2024-03-26  DeepHub IMBA  微信公众号  Tags:数据可视化   点击:(6)  评论:(0)  加入收藏
到底有没有必要分库分表,如何考量的
关于是否需要进行分库分表,可以根据以下考量因素来决定: 数据量和负载:如果数据量巨大且负载压力较大,单一库单一表可能无法满足性能需求,考虑分库分表。 数据增长:预估数据增长...【详细内容】
2024-03-20  码上遇见你  微信公众号  Tags:分库分表   点击:(13)  评论:(0)  加入收藏
在 SQL 中写了 in 和 not in,技术总监说要炒了我……
WHY?IN 和 NOT IN 是比较常用的关键字,为什么要尽量避免呢?1、效率低项目中遇到这么个情况:t1表 和 t2表 都是150w条数据,600M的样子,都不算大。但是这样一句查询 ↓select *...【详细内容】
2024-03-18  dbaplus社群    Tags:SQL   点击:(5)  评论:(0)  加入收藏
应对慢SQL的致胜法宝:7大实例剖析+优化原则
大促备战,最大的隐患项之一就是慢SQL,对于服务平稳运行带来的破坏性最大,也是日常工作中经常带来整个应用抖动的最大隐患,在日常开发中如何避免出现慢SQL,出现了慢SQL应该按照什...【详细内容】
2024-03-14  京东云开发者    Tags:慢SQL   点击:(4)  评论:(0)  加入收藏
过去一年,我看到了数据库领域的十大发展趋势
作者 | 朱洁策划 | 李冬梅过去一年,行业信心跌至冰点2022 年中,红衫的一篇《适应与忍耐》的报告,对公司经营提出了预警,让各个公司保持现金流,重整团队,想办法增加盈利。这篇报告...【详细内容】
2024-03-12    InfoQ  Tags:数据库   点击:(25)  评论:(0)  加入收藏
SQL优化的七个方法,你会哪个?
一、插入数据优化 普通插入:在平时我们执行insert语句的时候,可能都是一条一条数据插入进去的,就像下面这样。INSERT INTO `department` VALUES(1, '研发部(RD)', &#39...【详细内容】
2024-03-07  程序员恰恰  微信公众号  Tags:SQL优化   点击:(19)  评论:(0)  加入收藏
站内最新
站内热门
站内头条