如何寻找并删除系统里的重复文件，快速释放磁盘空间？

不管是 windows 电脑还是 linux 电脑，在使用的过程中，或多或少都会留下很多重复的文件。这些文件不仅会占用我们的磁盘，还会拖累我们的系统，所以，很有必要干掉这些重复的文件。

本文将介绍 6 种方法找到系统里的重复文件，让你快速释放硬盘空间！

1. 使用 diff 命令比较文件

diff 命令是 linux上非常重要的工具，用于比较文件的内容，特别是比较两个版本不同的文件以找到改动的地方。diff在命令行中打印每一个行的改动。最新版本的diff还支持二进制文件。

diff程序的输出被称为补丁 (patch)，因为Linux系统中还有一个patch程序，可以根据diff的输出将a.c的文件内容更新为b.c。diff是svn、cvs、git等版本控制工具不可或缺的一部分。

当两个文件有差异时，diff 命令将输出差异点：

# cat a.txt
hello
abc
123

# cat b.txt
sldf
123
hello

#diff a.txt b.txt
1,2c1 
< hello
< abc
---
> sldf
3a3
> hello

在 diff 中 diff 的 normal 显示格式有三种提示:

a - add
c - change
d - delete

从上面的差异可知，因为 a.txt 的第3行 和 b.txt的第2行相等，所以 1,2c1 显示的是a.txt 的前2行和b.txt的第1行是不同的。

由于2个文件的中的内容123相同，相对于内容123下面的行，b.txt 比 a.txt多了一行 hello

使用 diff 比较2个文件夹

# diff adir bdir
diff adir/a.txt bdir/a.txt
1c1
< hello
---
> abc
Only in adir: b.txt
Only in bdir: c.txt

从 diff 分析可知：

adir 文件夹与 bdir 文件夹各有一个 a.txt 文件，其中第一行内容是不同的。a.txt 第一行内容时 hello， b.txt 第一行的内容时 abc。

同时，在 adir 文件中存在一个文件 b.txt, 在 bdir 文件夹中存在一个文件c.txt。

diff 命令的缺点是它一次只能比较两个文件，如果我们要比较多个文件，这样两个两个比较效率肯定非常低下。

2. 使用校验和

Linux cksum命令用于检查文件的CRC是否正确。确保文件从一个系统传输到另一个系统的过程中不被损坏。所以，如果文件中有任何字符被修改，都将改变计算后CRC校验码的值。

校验和命令的原理是根据一定的算法将文件内容进行运算生成一个校验码，根据校验码的不同来判断文件内容是否发生变化。

# diff a.txt b.txt //没有输出说明2个文件内容是相同的
#
#
#cksum a.txt
2532900428 50 a.txt
#cksum b.txt
2532900428 50 b.txt

上面的输出信息中，"2532900428 "表示校验码，"50"表示字节数。

通过上面的校验码可知，a.txt 和 b.txt 内容是相同的。

3. 使用 find 命令

当需要判断一类文件时，可以根据find命令查找给定给定文件，然后对这些文件进行cksum校验，输出校验码，根据校验码进行判断是否发生变化。

# find . -name "*.txt" -exec cksum {} ;
2532900428 50 ./a.txt
2532900428 50 ./b.txt
290493225 32 ./c.txt
25632541 27 ./d.txt

根据校验码可知 a.txt 与 b.txt 相同，c.txt 与 d.txt 不同。

4. 使用 fslint 命令

fslint是一个Linux工具来删除文件，文件名不必要的和有问题的文件，从而保持电脑清洁。

使用该工具时我们要有个注意事项，就是我们需要给它一个起始位置。如果我们需要运行大量文件，该命令可能需要相当长的时间才能完成查找。

$ fslint .
-----------------------------------file name lint
-------------------------------Invalid utf8 names
-----------------------------------file case lint
----------------------------------DUPlicate files <==
a.txt
b.txt
-----------------------------------Dangling links
--------------------redundant characters in links
------------------------------------suspect links
--------------------------------Empty Directories
./.gnupg
----------------------------------Temporary Files
----------------------duplicate/conflicting Names
------------------------------------------Bad ids
-------------------------Non Stripped executables

5. 使用 fdupes 命令

fdupes 是 Linux 下的一个工具，它由 Adrian Lopez 用C编程语言编写并基于 MIT 许可证发行，该应用程序可以在指定的目录及子目录中查找重复的文件。fdupes 通过对比文件的 MD5 签名，以及逐字节比较文件来识别重复内容，fdupes 有各种选项，可以实现对文件的列出、删除、替换为文件副本的硬链接等操作。

$ fdupes ~

/home/adir/a.txt
/home/adir/b.txt

/home/adir/go.png
/home/adir/go0.png
/home/adir/h.png

-r 选项代表递归，表示它将在各个目录下面使用递归的方式来查找重复文件。但是，Linux 下有许多重复文件是很重要的（比如用户的 .bashrc 和 .profile 文件），如果被删除将导致系统异常。

# fdupes -r /home
/home/shark/home.html
/home/shark/index.html

/home/dory/.bashrc
/home/eel/.bashrc

/home/nemo/.profile
/home/dory/.profile
/home/shark/.profile

/home/nemo/tryme
/home/shs/tryme

/home/shs/arrow.png
/home/shs/PNGs/arrow.png

fdupes 命令的常用选项如下表所示：

6. 使用 rdfind 命令

Rdfind 意即 redundant data find(冗余数据查找)，是一个通过访问目录和子目录来找出重复文件的自由开源的工具。它是基于文件内容而不是文件名来比较。

Rdfind 使用排序算法来区分原始文件和重复文件。如果你有两个或者更多的相同文件，Rdfind 会很智能的找到原始文件并认定剩下的文件为重复文件。一旦找到副本文件，它会向你报告。你可以决定是删除还是使用硬链接或者符号(软)链接代替它们。

$ rdfind ~
Now scanning "/opt/adir", found 12 files.
Now have 12 files in total.
Removed 1 files due to nonunique device and inode.
Total size is 699498 bytes or 683 KiB
Removed 9 files due to unique sizes from list.2 files left.
Now eliminating candidates based on first bytes:removed 0 files from list.2 files left.
Now eliminating candidates based on last bytes:removed 0 files from list.2 files left.
Now eliminating candidates based on sha1 checksum:removed 0 files from list.2 files left.
It seems like you have 2 files that are not unique
Totally, 223 KiB can be reduced.
Now making results file results.txt

我们还可以在 dryrun 中运行。

$ rdfind -dryrun true ~
(DRYRUN MODE) Now scanning "/opt/adir", found 12 files.
(DRYRUN MODE) Now have 12 files in total.
(DRYRUN MODE) Removed 1 files due to nonunique device and inode.
(DRYRUN MODE) Total size is 699352 bytes or 683 KiB
Removed 9 files due to unique sizes from list.2 files left.
(DRYRUN MODE) Now eliminating candidates based on first bytes:removed 0 files from list.2 files left.
...

rdfind 命令还提供一些忽略空文件（-ignoreempty）和跟随符号链接（-followsymlinks）之类的选项。下面详细解释它的常用选项。

这里需要我们注意一下，rdfind命令提供了使用 -deleteduplicates true 设置删除重复文件的选项。顾名思义，使用这个选项它将自动删重复的文件。

$ rdfind -deleteduplicates true .

...

Deleted 1 files. <==

当然，前提是我们也必须在系统上安装 rdfind 命令。