linux 将物理内存分为内存段,叫做页面。交换是指内存页面被复制到预先设定好的硬盘空间(叫做交换空间)的过程,目的是释放这份内存页面。物理内存和交换空间的总大小是可用的虚拟内存的总量。
什么是 Swap
我们知道 swap space 是磁盘上的一块区域,可以是一个分区,也可以是一个文件,或者以它们的组合方式出现。简单点说,当系统物理内存吃紧时,Linux 系统会将内存中不常访问的数据保存到 swap 上,这样系统就有更多的物理内存为其他进程服务,而当系统需要访问 swap 上存储的内容时,系统会再将 swap 上的数据加载到内存中,这就是我们常说的 swap out 和 swap in 了。
Swap 原理
Swap 说白了就是把一块磁盘空间或者一个本地文件(以下讲解以磁盘为例),当成内存来使用。它包括换出和换入两个过程。
- 所谓换出,就是把进程暂时不用的内存数据存储到磁盘中,并释放这些数据占用的内存。
- 而换入,则是在进程再次访问这些内存的时候,把它们从磁盘读到内存中来。
一个很典型的场景就是,即使内存不足时,有些应用程序也并不想被 OOM 杀死,而是希望能缓一段时间,等待人工介入,或者等系统自动释放其他进程的内存,再分配给它。
除此之外,我们常见的笔记本电脑的休眠和快速开机的功能,也基于 Swap 。休眠时,把系统的内存存入磁盘,这样等到再次开机时,只要从磁盘中加载内存就可以。这样就省去了很多应用程序的初始化过程,加快了开机速度。
Swap 的优缺点
[1] 主要优点如下所示
对于一些大型的应用程序(如Libreoffice等),在启动的过程中会使用大量的内存,但这些内存很多时候只是在启动的时候用一下,后面的运行过程中很少再用到这些内存。有了 swap 之后,系统就可以将这部分不这么使用的内存数据保存到 swap 上去,从而释放出更多的物理内存供系统使用。
很多发行版(如ubuntu)的休眠功能依赖于 swap 分区,当系统休眠的时候,会将内存中的数据保存到 swap 分区上,等下次系统启动的时候,再将数据加载到内存中,这样可以加快系统的启动速度,所以如果要使用休眠的功能,必须要配置 swap 分区,并且大小一定要大于等于物理内存在某些情况下,物理内存有限,但又想运行耗内存的程序怎么办?这时可以通过配置足够的 swap 空间来达到目标,虽然慢一点,但至少可以运行。
[2] 主要缺点如下所示
swap 是存放在磁盘上的,磁盘的速度和内存比较起来慢了好几个数量级,如果不停的读写 swap,那么对系统的性能肯定有影响,尤其是当系统内存很吃紧的时候,读写 swap 空间发生的频率会很高,导致系统运行很慢,像死了一样,这个时候添加物理内存是唯一的解决办法。
Swap 的大小配置
既然配置 swap 对桌面系统有帮助,那么配置多少大小的 swap 比较合适呢?下面是 ubuntu 给出的建议:
- 当物理内存小于 1G 且不需要休眠时,设置和内存同样大小的 swap 空间即可;当需要休眠时,建议配置两倍物理内存的大小,但最大值不要超过两倍内存大小。
- 当物理内存大于 1G 且不需要休眠时,建议大小为 sqrt(RAM),其中 RAM 为物理内存大小;当需要休眠时,建议大小是 RAM+round(sqrt(RAM)),但最大值不要超过两倍内存大小。
- 如果两倍物理内存大小的 swap 空间还不够用,建议增加内存而不是增加swap。
Swap 常用操作
当我们确定好配置多大的 swap 空间后,具体应该怎么配置呢?Linux 下有两种类型的 swap 空间,swap 分区和 swap 文件,它们有各自的特点:
swap 分区:
- swap 分区上面由于没有文件系统,所以相当于内核直接访问连续的磁盘空间,效率相对要高点,但由于 swap 分区一般安装系统时就分配好了,后期要缩减空间和扩容都很不方便。
swap 文件:
- swap 文件放在指定分区的文件系统里面,所以有可能受文件系统性能的影响,但据说2.6版本以后的内核可以直接访问swap文件对应的物理磁盘地址,相当于跳过了文件系统直接访问磁盘。不过如果 swap 文件在磁盘上的物理位置不连续时,还是会对性能产生不利影响,但其优点就是灵活,随时可以增加和移除swap文件。
交换分区在物理内存被填满时用来保持内存中的内容。当 RAM 被耗尽,Linux 会将内存中不活动的页移动到交换空间中,从而空出内存给系统使用。虽然如此,但交换空间不应被认为是物理内存的替代品。大多数情况下,建议交换内存的大小为物理内存的 1 到 2 倍。也就是说如果你有 8GB 内存, 那么交换空间大小应该介于 8-16GB。
查看系统中已经配置的 swap 分配情况
# Filename: 类型是分区则显示分区路径,类型是文件则显示文件路径
# Type: partition代表是一个swap分区,file代表是一个swap文件
# Size: 显示swap的大小,默认单位是KB
# Used: 已经被使用的大小,0表示还没有被使用到
# Priority: 优先级高将会被优先使用,同等优先级将会均匀使用(设置: swapon -p)
escape@App:~$ swapon -s
Filename Type Size Used Priority
/data/.swapfile file 10485756 6534248 -1
/data1/.swapfile file 10485756 3246088 -2
# 指定交换区的优先顺序
$ sudo swapon -p xxx
# 启动某个交换swap
$ sudo swapon /dev/sda2
# 启动所有系统配置的swap
$ sudo swapon -a
# 关闭某个交换swap
$ sudo swapoff /dev/sda2
# 关闭所有系统配置的swap
$ sduo swapoff -a
固定使永久生效
# 写入磁盘配置文件
# <file system> <mount point> <type> <options> <dump> <pass>
$ cat /etc/fstab
/data1/.swapfile none swap sw 0 0
/data1/.swapfile2 none swap sw 0 0
查看系统中 swap in/out 的情况
# 并不是swap空间占用多就一定性能下降
# 真正影响性能是swap in和out的频率,频率越高对系统的性能影响越大
escape@app:~$ vmstat 2
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
3 1 9795592 2037192 282460 14034552 8 8 51 46 0 0 10 1 88 0 0
3 0 9795592 2025832 282472 14044688 0 0 68279 270 5416 6425 35 6 54 5 0
扩大swap
1.先查看一下自己的服务器swap大小,命令:
2.使用 cd /usr 进入 /usr 文件夹,新建一个名叫swap的文件夹,使用ll命令可以看到多了一个swap的文件夹
3.下一步使用 cd swap 进入swap文件夹,创建swap文件
swapfile文件创建后,需要构建swap格式于/usr/swap/swapfile 上
用命令激活swap,立即启用交换分区文件
配置 Swap 缓存
操作系统使用 ZFS 文件系统
添加 swap 分区
# 1.创建逻辑卷
$ sudo zpool create -V 2G rpool/swap
# 2.使用mkswap命令来格式化交换分区
$ sudo mkswap -f rpool/swap
# 3.激活新建的交换分区
swapon -a /dev/zvol/dsk/rpool/swap2
# 4.永久生效
$ sudo vi /etc/fstab
/dev/zvol/dsk/rpool/swap2 swap swap default 0 0
取消 swap 配置
# 1.关闭某个交换swap
$ sudo swapoff /dev/zvol/dsk/rpool/swap2
# 2.删除逻辑卷
$ sudo zpool destroy rpool/swap
# 3.修改/etc/fstab
将添加的Swap记录一并删除,否则下次重启后,系统又会重新挂载相应的swap分区和文件
系统资源紧张时的内存分配
有新的大块内存分配请求,但是剩余内存不足。这个时候系统就需要回收一部分内存(比如前面提到的缓存),进而尽可能地满足新内存请求。这个过程通常被称为直接内存回收。
除了直接内存回收,还有一个专门的内核线程用来定期回收内存,也就是kswapd0。为了衡量内存的使用情况,kswapd0 定义了三个内存阈值(watermark,也称为水位),分别是
页最小阈值(pages_min)、页低阈值(pages_low)和页高阈值(pages_high)。剩余内存,则使用 pages_free 表示。
这里,我画了一张图表示它们的关系。
kswapd0 定期扫描内存的使用情况,并根据剩余内存落在这三个阈值的空间位置,进行内存的回收操作。
剩余内存小于页最小阈值,说明进程可用内存都耗尽了,只有内核才可以分配内存。
剩余内存落在页最小阈值和页低阈值中间,说明内存压力比较大,剩余内存不多了。这时 kswapd0 会执行内存回收,直到剩余内存大于高阈值为止。
剩余内存落在页低阈值和页高阈值中间,说明内存有一定压力,但还可以满足新内存请求。
剩余内存大于页高阈值,说明剩余内存比较多,没有内存压力。
我们可以看到,一旦剩余内存小于页低阈值,就会触发内存的回收。这个页低阈值,其实可以通过内核选项
/proc/sys/vm/min_free_kbytes 来间接设置。
Linux 提供了一个 /proc/sys/vm/swappiness 选项,用来调整使用 Swap 的积极程度。
swappiness 的范围是 0-100,数值越大,越积极使用 Swap,也就是更倾向于回收匿名页;数值越小,越消极使用 Swap,也就是更倾向于回收文件页。
提高或降低swap使用的方法
在内存资源紧张时,Linux 会通过 Swap ,把不常访问的匿名页换出到磁盘中,下次访问的时候再从磁盘换入到内存中来。你可以设置
/proc/sys/vm/min_free_kbytes,来调整系统定期回收内存的阈值;也可以设置 /proc/sys/vm/swappiness,来调整文件页和匿名页的回收倾向。
当 Swap 变高时,你可以用 sar、/proc/zoneinfo、/proc/pid/status 等方法,查看系统和进程的内存使用情况,进而找出 Swap 升高的根源和受影响的进程。
反过来说,通常,降低 Swap 的使用,可以提高系统的整体性能。要怎么做呢?这里,我也总结了几种常见的降低方法。
- 禁止 Swap,现在服务器的内存足够大,所以除非有必要,禁用 Swap 就可以了。随着云计算的普及,大部分云平台中的虚拟机都默认禁止 Swap。
- 如果实在需要用到 Swap,可以尝试降低 swappiness 的值,减少内存回收时 Swap 的使用倾向。
- 响应延迟敏感的应用,如果它们可能在开启 Swap 的服务器中运行,你还可以用库函数 mlock() 或者 mlockall() 锁定内存,阻止它们的内存换出。
swappiness参数的含义
swappiness是Linux的一个内核参数,控制系统在进行swap时,内存使用的相对权重。
swappiness参数值可设置范围在0到100之间。 此参数值越低,就会让Linux系统尽量少用swap分区,多用内存;参数值越高就是反过来,使内核更多的去使用swap空间。Ubuntu系统swappiness默认值为60,表示的含义可以这样来理解,当剩余物理内存低于40%(40=100-60)时,开始使用swap分区。centos系统此参数的默认值是30。我个人喜欢将作为服务器的Linux系统的swappiness参数设置为10。设置为100可能会影响整体性能,如果内存充足,就可以将这个值设置很低,甚至为0,以避免系统进行swap而影响性能。
swappiness=0究竟意味着什么?
我们都知道,Linux的进程使用的内存分为2种:
- file-backed pages(有文件背景的页面,比如代码段、比如read/write方法读写的文件、比如mmap读写的文件,它们有对应的硬盘文件,因此如果要交换,可以直接和硬盘对应的文件进行交换;比如读取一个文件,没有关闭,也没有修改,交换时,就可以将这个文件直接放回硬盘,代码处理其实就是删除这部分内容,只保留一个索引,让系统知道这个文件还处于打开状态,只是它的内容不在内存,还在硬盘上),此部分页面叫做page cache;
- anonymous pages(匿名页,如stack,heap,CoW后的数据段等;他们没有对应的硬盘文件,因此如果要交换,只能交换到swap分区),此部分页面,如果系统内存不充分,可以被swap到swapfile或者硬盘的swap分区。
因此,Linux在进行内存回收(memory reclAIm)的时候,实际上可以从1类和2类这两种页面里面进行回收,而swappiness值就决定了回收这2类页面的优先级。swappiness越大,越倾向于回收匿名页;swappiness越小,越倾向于回收file-backed的页面。当然,它们的回收方法都是一样的LRU算法。
修改swappiness的值
查看你的系统里面的swappiness
修改swappiness值为10
但是这只是临时性的修改,在你重启系统后会恢复默认的60,所以,还要做一步:
linux查找占用swap的进程的脚本
#!/bin/bash
########################################
# 脚本功能 : 列出正在占用swap的进程。
########################################
echo -e "PIDtSwaptProc_Name"
# 拿出/proc目录下所有以数字为名的目录(进程名是数字才是进程,其他如sys.NET等存放的是其他信息)
for pid in `ls -l /proc|awk '/^d/ {print $NF}'|grep ^[0-9]`
do
# Do not check init process
if [ $pid -eq 1 ];then continue;fi
# 判断改进程是否占用了swap
grep -q "Swap" /proc/$pid/smaps 2>/dev/null
if [ $? -eq 0 ];then # 如果占用了swap
swap=$(grep Swap /proc/$pid/smaps| gawk '{ sum+=$2} END{ print sum }')
# 进程名
#proc_name=$(ps aux | grep -w "$pid" | grep -v grep
proc_name=$(ps -eo pid,comm | grep -w "$pid" | grep -v grep|awk '{print $NF}')
if [ $swap -ge 0 ];then # 如果占用了swap则输出其信息
echo -e "$pidt${swap}t$proc_name"
fi
fi
done | sort -k2 -n | gawk -F't' '{
pid[NR]=$1;
size[NR]=$2;
name[NR]=$3;
}
END{
for(id=1;id<=length(pid);id++)
{
if(size[id]<1024)
printf("%-10st%10sKBt%sn",pid[id],size[id],name[id]);
else if(size[id]<1048576)
printf("%-10st%10.2fMBt%sn",pid[id],size[id]/1024,name[id]);
else
printf("%-10st%10.2fGBt%sn",pid[id],size[id]/1048576,name[id]);
}
}'
释放缓存区内存的方法
a)清理pagecache(页面缓存)
1
# echo 1 > /proc/sys/vm/drop_caches 或者 # sysctl -w vm.drop_caches=1
b)清理dentries(目录缓存)和inodes
1
# echo 2 > /proc/sys/vm/drop_caches 或者 # sysctl -w vm.drop_caches=2
c)清理pagecache、dentries和inodes
1
# echo 3 > /proc/sys/vm/drop_caches 或者 # sysctl -w vm.drop_caches=3