MongoDB作为一款NoSQL数据库,常应用在游戏开发领域。 作为一个后端程序,进行CRUD操作是家常便饭,但如果不看源码,便不会知道MongoDB底层是如何实现的,对自己写的CRUD代码,心里就没谱,不确定哪一行代码就把MongoDB给压垮了。遇到问题,不知道为啥MongoDB支撑不住,也就无从说起该怎样哪里优化。
开源MongoDB有上万个文件,代码量百万行。阅读MongoDB的源码是一项具有挑战的任务。一般的,我们可以从简单的、自己感兴趣的模块开始阅读。例如,先理解MongoDB在执行一条find命令时,是如何找到我们想要的结果。
本文,介绍如何编译MongoDB源码、如何用GDB调试MongoDB。
因为线上使用的是3.4.24版本,所以本文也采用该版本作为例子。
首先下载MongoDB源码
wget https://fastdl.mongodb.org/src/mongodb-src-r3.4.24.tar.gz
解压缩
tar -zxvf mongodb-src-r3.4.24.tar.gz
在解压的目录中,docs/building.md介绍了如何编译安装MongoDB。
首先是安装依赖库
apt-get install aptitude
aptitude install scons build-essential
aptitude install libboost-filesystem-dev libboost-program-options-dev libboost-system-dev libboost-thread-dev
然后是通过scons命令进行MongoDB的编译安装。
scons core install --disable-warnings-as-errors
参数core,说明想要安装的包括mongod,mongos, mongo。加入参数--disable-warnings-as-errors是为了忽略编译过程的warning。
为了GDB能够调试MongoDB,需要在编译MongoDB时,加入-g参数。不然在调试时,会收到No symbol table is loaded的报错。通过查看SConstruct文件,已经加了-ggdb参数,所以我们就不需要做修改,直接执行scons就可以。
编译安装后,会在build/install/bin目录下,生成可执行文件:mongo,mongod,mongos,mongoperf。
首先启动mongod。在build/install/bin目录下,执行 ./mongod启动mongod。
启动后,可以用ps -ef | grep mongod查看mongod的进程号,然后用ps -p 进程号 -T查看mongod创建的线程信息。
启动mongo。在build/install/bin目录下,执行./mongo启动mongo,使之直接连接mongod。
启动后,再次用ps -p 进程号 -T查看mongod创建的线程信息。这时,会发现多了一个conn1线程。这个线程,是mongod为一个客户端创建的。
在build/install/bin目录下,启动GDB,attach到mongod进程
gdb ./mongod 进程号
mongod是多线程,我们这里只关心处理客户端请求的线程。所以,先要切到相应的线程中。
使用info threads命令, 显示当前可调试的所有线程,每个线程会有一个GDB为其分配的ID,后面操作线程的时候会用到这个ID。 前面有*的是当前调试的线程
可以看到,处理客户端连接的线程,在GDB的编号是21,用thread 21切换到对应的线程中。
我们以find命令为例,介绍如何用GDB进行断点调试。
断点调试的第一步,就是加断点。这就需要找到find的入口在哪里,即在哪个文件的哪一行。 我们一般可以先快速过一遍mongod的源码结构。在src/mongo/db/commands发现了大量以命令命名的文件。通过简单分析我们有理由相信,find_cmd.cpp的run函数,就是find的入口。
确定了行号之后,就可以用gdb命令加断点了:
b src/mongo/db/commands/find_cmd.cpp:230
加好断点后,我们在启动的mongo进程中,触发find命令。
触发命令后,我们在gdb会话中,输入c告诉gdb继续执行,直到遇到我们设置的断点。
现在gdb已经定在了我们设置的断点中,下面可以利用gdb的其他命令,如命令s,n等,跟踪学习mongo的find命令实现了。
如果不幸的,我们没法通过源码发现find命令的入口,则只能借助gdb使用更暴力一些的办法。 在前文介绍的步骤中,当gdb关联到客户端的线程后,直接执行bt命令,看看现在的调用栈。
可以看到,线程在等待客户端数据,对应的文件是sock.cpp:692。
通过阅读源码,我们直接在sock.cpp:697加断点,客户端发起find请求,然后一步步调试,就能进入find的入口。
编译安装mongod在不同的环境,会遇到各种奇葩的问题。我们为了用GDB调试mongod,可能会花大量时间在解决环境配置上。为了解决烦恼的环境问题,这里提供一个dockerfile,用docker可以完美的解决环境问题。
FROM debian:9
RUN apt-get install -y wget
RUN apt-get install -y vim
RUN apt-get install -y make
# 在Docker Debian容器中安装ps,top等命令RUN apt-get install -y procps
RUN apt-get install -y gcc
RUN apt-get install -y g++