概述

针对IO密集型应用做系统调优的时候，我们通常都需要知道系统cpu 内存 io 网络等系统性能 和 使用率，结合应用本身的访问量，以及 MySQL的性能指标来综合分析。比如说：我们将系统压力情况分为三个阶段：从用户端开始到web server，再到mysql。

1. 客户量：我们可以从web App的访问log，查看访问量（通常会记录时间），

2. 系统指标： 对比dstat、 IOStat/ mpstat pidstat 等搜集对应的系统性能指标，

3. mysql： 使用mysql status ，或者 mycheckpoint等工具搜集mysql的cache ， query等数据。

我们很容易搜集到了系统层、设备层的IO数据，但是缺少一个工具来告诉你应用打开了多少文件，文件读写比例，执行了多少次fsync，是随机读写还是顺序读写，另外，mysql是一个庞大而精心设计的系统，使用了一些列的方案如table cache， thread cache 等来提升IO，我们比较容易获得他的缓存量，命中率，文件数，但是却不好直观的知道它到底对物理IO设备读写了多少数据。到底是数据库的那部分操作使IO这么忙，或者说到底是哪个表，哪个数据文件的IO动作最频繁，以及他到底是什么样的系统调用。

所以今天主要分享一个实用工具帮助我们获取这些信息--pt-ioprofile。

一、原理

pt-ioprofile主要做了两件事情，

1. lsof+strace每秒

2.对输出结果做聚合计算。

对某个pid附加一个strace进程进行IO分析, --profile-pid指定pid, --cell=sizes，该参数将结果已 B/s 的方式展示出来

total:该列是对后面所有列相加得到的和。

read/write:read系统调用从文件描述符fd所代指的打开文件中读取/写入数据，通常会配合lseek系统调用来使用，首先使用lseek来定位偏移量，然后进行read/write操作。

ssize_t read(int fd, void *buf, size_t count);
ssize_t write(int fd, void *buf, size_t count);

pread/pwrite:该系统调用让我们在fd文件的offset处开始读取/写入，读取count个字节，并将这些数据放入*buf中，但是不改变文件文件的当前偏移量

pwrite主要使用在多线程并发读写文件的场景，多个线程同时读写文件彼此不受影响。

ssize_t pread(int fd, void *buf, size_t count, off_t offset);
ssize_t pwrite(int fd, const void *buf, size_t count, off_t offset)；

fsync=数据+元数据(属主,属组,文件权限文件大小,文件链接)

#include 
int fsync(int fd);

fsync的功能是确保文件fd所有已修改的内容已经正确同步到硬盘上，该调用会阻塞等待直到设备报告IO完成。

除了同步文件的修改内容（脏页），fsync还会同步文件的描述信息（metadata，包括size、访问时间st_atime & st_mtime等等），因为文件的数据和metadata通常存在硬盘的不同地方，因此fsync至少需要两次IO写操作，变向随机IO.

fdatasync=数据,fdatasync的功能与fsync类似，但是仅仅在必要的情况下才会同步metadata，因此可以减少一次IO写操作。

fdatasync，放宽了同步的语义以提高性能：

#include 
int fdatasync(int fd);

open/lose/seek:这是最基本的三种文件系统调用，分别是open打开文件描述符，close是关闭文件描述符，lseek是改变文件偏移量。

fcntl:函数可以改变已打开的文件性质,较复杂

filename:对应的数据文件。

二、相关参数

--aggregate：sum|avg:可以算平均值和总和

--cell:count|sizes:times:可以算系统调用次数，系统调用传输数据量，系统调用耗费的时间

--group-by:all|filename|pid:聚合方式，所有聚合在一起还是按照文件聚合

--profile-piid:跟踪的进程pid

--profile-process：mysqld进程名

--run-time:采集时间

--save-samples:将输出保存到文件，供后续分析。

三、安装

yum -y install strace
yum -y install https://www.percona.com/downloads/percona-toolkit/3.0.1/binary/redhat/7/x86_64/percona-toolkit-3.0.1-1.el7.x86_64.rpm

四、常用命令

1、60s内数据库有IO活动的文件产生的各种系统调用次数

pt-ioprofile --profile-process=mysqld --run-time=60 --save-samples=/tmp/mysql_ioprofile.txt --group-by=filename --cell=count --aggregate=sum

2、60s内数据库中有IO活动的文件,各种系统调用平均每秒产生的数据量

pt-ioprofile --profile-process=mysqld --run-time=60 --save-samples=/tmp/mysql_ioprofile.txt --group-by=filename --cell=sizes --aggregate=avg

3、数据库有IO活动的文件，各种系统调用平均耗费的时间

pt-ioprofile --profile-process=mysqld --save-samples=/tmp/mysql_ioprofile.txt --group-by=filename --cell=times --aggregate=avg

注意在生产环境使用的时候一定要谨慎，建议在业务空闲时使用。