由于TSL的流量流量都是加密的，对TSL的抓包一般比较麻烦，比如用Wireshar抓包还需要网站服务器私钥。最新版本的Arkime（以前叫做Moloch）可以通过PolarProxy接收抓包并解密HTTPS流。本文我们就来介绍如何将通过Arkim和PolarProxy 实时捕获并解密更HTTPS流量。

概述

Arkime是一个开源数据包捕获软件，它可以收集到PCAP数据并对其索引。Arkime自带Web前端，用于浏览和搜索捕获的并建立索引的网络流量。

Arkime抓包并解密TSL流量需要其pcap-over-ip-server功能，并用"--pcapoveripconnect 127.0.0.1:57012"选项启动PolarProxy。PolarProxy通过TCP端口57012连接到Arkime的PCAP-over-IP侦听器，并将其解密的所有TLS数据包的副本发送给它。

安装

TLS解密是通过PolarProxy（透明的TLS拦截代理）来实施的：

PolarProxy和Arkime可以安装在服务器上，可以实现拦截，解密，索引和存储网络上多个客户端的TLS网络流量。甚至有可能在单独的服务器上安PolarProxy和Arkime，以便PolarProxy将解密的流量转发到Arkime服务器。为了避免不必要的麻烦，本文我们在Ubuntu安装了Arkime和PolarProxy。操作系统是Ubuntu 20.04.1机器，也支持其他linux发行版版本使用，比如Arch，centos，Debian，Fedora和SUSE等。

安装配置Arkime

可以在Arkime官方下载适用于CentOS （rpm）和Ubuntu（deb）的预安装包安装，也可以下载源码或者从Github clone源码编译安装：

安装Arkime软件包后，通过运行以下命令配置Arkime：

sudo /data/moloch/bin/Configure

Found interfaces: lo;eth0

Semicolon ';' seperated list of interfaces to monitor [eth0] none

输入"none"作为要监视的界面（当Arkime被配置为IP上的PCAP服务器时，该界面设置将被忽略）

根据提示，选择"Yes"来安装额外的ElasticSearch服务器

编辑/data/moloch/etc/config.ini，添加"pcapReadMethod = pcap-over-ip-server"，将Arkime配置为监听PCAP连接。

接下来，用以下命令启用ElasticSearch systemd服务。

sudo systemctl enable elasticsearch.service

sudo systemctl start elasticsearch.service

启动Arkime search集群。

/data/moloch/db/db.pl localhost:9200 init

创建一个新的管理员用户。

/data/moloch/bin/moloch_add_user.sh admin "Admin User" THEPASSword - admin

然后启用Moloch捕获和查看器服务。

sudo systemctl start molochcapture.service

sudo systemctl enable molochviewer.service

sudo systemctl start molochviewer.servic

启动后，测试一下主机上监听的TCP端口57012，确保服务已经启动。

ss -nta | grep 57012

LISTEN 0 10 0.0.0.0:57012 0.0.0.0:*

安装配置PolarProxy

为PolarProxy的systemd服务创建一个启动用户，并按下载PolarProxy：

sudo adduser --system --shell /bin/bash proxyuser

sudo mkdir /var/log/PolarProxy

sudo chown proxyuser:root /var/log/PolarProxy/

sudo chmod 0775 /var/log/PolarProxy/

sudo su - proxyuser

mkdir ~/PolarProxy

cd ~/PolarProxy/

curl https://www.netresec.com/?download=PolarProxy | tar -xzf -

exit

复制PolarProxy配置复制到systemd。

sudo cp /home/proxyuser/PolarProxy/PolarProxy.service /etc/systemd/system/PolarProxy.service

修改/etc/systemd/system/PolarProxy.service，在ExecStart命令的末尾添加"--pcapoveripconnect 127.0.0.1:57012"

启动PolarProxy服务

sudo systemctl enable PolarProxy.service

sudo systemctl start PolarProxy.service

验证PolarProxy已在TCP端口57012已经连接到Arkime的PCAP-over-IP监听端口。

ss -nta | grep 57012

LISTEN 0 10 0.0.0.0:57012 0.0.0.0:*

ESTAB 0 0 127.0.0.1:40801 127.0.0.1:57012

ESTAB 0 0 127.0.0.1:57012 127.0.0.1:40801

抓包测试

PolarProxy当前正在监听TCP端口10443上的传入TLS连接。因此，我们可以使用以下curl命令通过TLS解密代理运行流量：

curl --insecure --connect-to www.xxx.com:443:127.0.0.1:10443 https://www.xxx.com/

如果一切正常，解密的流量将显示在Arkime中。在浏览器中打开http:// localhost:8005/sessions并查找与www.xxx.com的连接。

添加PolarProxy的根CA证书信任

为了让PolarProxy服务使用的根CA证书同时被操作系统和浏览器所信任，以便通过解密代理运行TLS流量而不会出现错误。请按照以下步骤添加对根CA的信任（其他发行版可能稍有差异）：

sudo mkdir /usr/share/ca-certificates/extra

sudo openssl x509 -inform DER -in /var/log/PolarProxy/polarproxy.cer -out /usr/share/ca-certificates/extra/PolarProxy-root-CA.crt

sudo dpkg-reconfigure ca-certificates

选择"extra /PolarProxy-root-CA.crt"证书颁发机构

按<确定>

配置Firefox浏览器

从以下位置下载根CA证书：localhost:10080/polarproxy.cer

在Firefox 浏览器地址栏输入: about:preferences＃privacy

向下滚动到"证书"，然后单击"查看证书"

导入>选择"polarproxy.cer"，导入添加信任。

配置外发HTTPS流量的防火墙重定向

最后是将本地用户的传出HTTPS流量重定向到TCP端口上PolarProxy服务监听10443。

在/etc/ufw/before.rules添加如下nat规则将传出的HTTPS流量重定向到侦听端口10443的本地PolarProxy服务。

*nat

:OUTPUT ACCEPT [0:0]

-A OUTPUT -m owner --uid 1000 -p tcp --dport 443 -j REDIRECT --to 10443

COMMIT

保存before.rules之后，重新加载UFW以激活端口重定向。

sudo ufw reload

注意，如果你使用的itpables防火墙，而非UFW，则等效规则为：

iptables -t nat -A OUTPUT -m owner --uid 1000 -p tcp --dport 443 -j REDIRECT --to 10443

确保修改防火墙规则中的uid值（1000）以匹配PolarProxy应该为其解密HTTPS流量的本地用户的uid值。

可以通过运行命令"id -u"来查看当前的uid值。

也可以将多个用户的流量从重定向到PolarProxy，但是，一定注意避免转发"proxyuser"用户HTTPS流量，否则就会形成无限死循环了。

可以使用 "id -u proxyuser" 命令查看proxyuser的uid。

这样，该主机已经配置为将自动解密HTTPS流量到到Arkime，打开Firefox并访问https网站，就可以返在Arkime查看到相关的流量。