您当前的位置:首页 > 电脑百科 > 数据库 > 百科

详解rsync 命令

时间:2019-04-24 12:41:56  来源:  作者:

什么是 Rsync

Rsync(remote synchronize)是一个远程数据同步工具,可通过 LAN/WAN 快速同步多台主机间的文件。Rsync 使用所谓的 “Rsync 算法” 来使本地和远 程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。

Rsync 本来是用于替代 rcp 的一个工具,目前由 rsync.samba.org 维护,所以 rsync.conf 文件的格式类似于 Samba 的 主配置文件。Rsync 可以通过 rsh 或 ssh 使用,也能以 daemon 模式去运行,在以 daemon 方式运行时 Rsync server 会打开一个 873 端口,等待客户端去连接。连接时,Rsync server 会检查口令是否相符,若通过口令查核,则可以开始进行文件传输。第一次连通完成时,会把整份文件传输一次,以后则就只需进行增量备份。

Rsync 支持大多数的类 Unix 系统,无论是 linux、Solaris 还是 BSD 上都经过了良好的测试。此外,它在 windows 平台下也有相应的版本,如 cwRsync 和 Sync2NAS 等工具。

Rsync 的基本特点如下:

  1. 可以镜像保存整个目录树和文件系统;
  2. 可以很容易做到保持原来文件的权限、时间、软硬链接等;
  3. 无须特殊权限即可安装;
  4. 优化的流程,文件传输效率高;
  5. 可以使用 rsh、ssh 等方式来传输文件,当然也可以通过直接的 socket 连接;
  6. 支持匿名传输。

Rsync 同步算法

Rsync 只所以同步文件的速度相当快,是因为 “Rsync 同步算法” 能在很短的时间内计算出需要备份的数据,关于 Rsync 的同步算法描述如下:

假定在 1 号和 2 号两台计算机之间同步相似的文件 A 与 B,其中 1 号对文件 A 拥有访问权,2 号对文件 B 拥有访问权。并且假定主机 1 号与 2 号之间的网络带宽很小。那么 rsync 算法将通过下面的五个步骤来完成:

  1. 2 号将文件 B 分割成一组不重叠的固定大小为 S 字节的数据块,最后一块可能会比 S 小。
  2. 2 号对每一个分割好的数据块执行两种校验:一种是 32 位的滚动弱校验,另一种是 128 位的 MD4 强校验
  3. 2 号将这些校验结果发给 1 号。
  4. 1 号通过搜索文件 A 的所有大小为 S 的数据块 (偏移量可以任选,不一定非要是 S 的倍数),来寻找与文件 B 的某一块有着相同的弱校验码和强校验码的数据块。这项工作可以借助滚动校验的特性很快完成。
  5. 1 号发给 2 号一串指令来生成文件 A 在 2 号上的备份。这里的每一条指令要么是对文件 B 经拥有某一个数据块而不须重传的证明,要么是一个数据块,这个数据块肯定是没有与文件 B 的任何一个数据块匹配上的。

Rsync 参数说明

配置文件:rsyncd.conf

全局参数

在文件中,[module]之前的所有参数都是全局参数,当然也可以在全局参数部分定义模块参数,这时候该参数的值就是所有模块的默认值。

port指定后台程序使用的端口号,默认为 873。

motd file用来指定一个消息文件,当客户连接服务器时该文件的内容显示给客户,默认是没有 motd 文件的。

log file指定 rsync 的日志文件,而不将日志发送给 syslog。比如可指定为 “/var/log/rsyncd.log”。

pid file指定 rsync 的 pid 文件,通常指定为 “/var/run/rsyncd.pid”。

syslog facility指定 rsync 发送日志消息给 syslog 时的消息级别,常见的消息级别是:uth, authpriv, cron, daemon, ftp, kern, lpr, mAIl, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6 和 local7。默认值是 daemon。

模块参数

主要是定义服务器哪个目录要被同步。其格式必须为 “[module]” 形式,这个名字就是在 rsync 客户端看到的名字,其实有点象 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。我们可以根据自己的需要,来指定多个模块,模块中可以定义以下参数:

comment给模块指定一个描述,该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。

path指定该模块的供备份的目录树路径,该参数是必须指定的。

use chroot如果指定为 true,那么 rsync 在传输文件以前首先 chroot 到 path 参数所指定的目录下。这样做的原因是实现额外的安全防护,但是缺点是需要以 root 权限,并且不能备份指向外部的符号连接所指向的目录文件。默认值为 true。

uid指定当该模块传输文件时守护进程应该具有的 uid,配合 gid 选项使用可以确定哪些可以访问怎么样的文件权限,默认值是”nobody”。

gid指定当该模块传输文件时守护进程应该具有的 gid。默认值为”nobody”。

max connections指定该模块的最大并发连接数量以保护服务器,超过限制的连接请求将被告知随后再试。默认值是 0,也就是没有限制。

list该选项设定当客户请求可以使用的模块列表时,该模块是否应该被列出。如果设置该选项为 false,可以创建隐藏的模块。默认值是 true。

read only设定是否允许客户上载文件。如果为 true 那么任何上载请求都会失败,如果为 false 并且服务器目录读写权限允许那么上载是允许的。默认值为 true。

exclude用来指定多个由空格隔开的多个文件或目录 (相对路径),并将其添加到 exclude 列表中。这等同于在客户端命令中使用--exclude来指定 模式,一个模块只能指定一个 exclude 选项。但是需要注意的一点是该选项有一定的安全性问题,客户很有可能绕过 exclude 列表,如果希望确保特定 的文件不能被访问,那就最好结合 uid/gid 选项一起使用。

exclude from指定一个包含 exclude 模式的定义的文件名,服务器从该文件中读取 exclude 列表定义。

include用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用–include 来指定模式,结合 include 和 exclude 可以定义复杂的 exclude/include 规则。

include from指定一个包含 include 模式的定义的文件名,服务器从该文件中读取 include 列表定义。

auth users指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果”auth users” 被设置,那么客户端发出对该模块的连接请求以后会被 rsync 请求 challenged 进行验证身份这里使用的 challenge/response 认证协议。用户的名和密码以明文方式存放在”secrets file” 选项指定的文件中。默认情况下无需密码就可以连接模块 (也就是匿名方式)。

secrets file指定一个包含定义用户名: 密码对的文件。只有在”auth users” 被定义时,该文件才有作用。文件每行包含一个 username:passwd 对。一般来说密码最好不要超过 8 个字符。没有默认的 secures file,需要限式指定一个 (例如:/etc/rsyncd.passwd)。注意:该文件的权限一定要是 600,否则客户端将不能连接服务器。

strict modes指定是否监测密码文件的权限,如果该选项值为 true 那么密码文件只能被 rsync 服务器运行身份的用户访问,其他任何用户不可以访问该文件。默认值为 true。

hosts allow指定哪些 IP 的客户允许连接该模块。客户模式定义可以是以下形式:

  • 单个 IP 地址,例如:192.167.0.1
  • 整个网段,例如:192.168.0.0/24,也可以是 192.168.0.0/255.255.255.0
  • 多个 IP 或网段需要用空格隔开,“*” 则表示所有,默认是允许所有主机连接。

hosts deny指定不允许连接 rsync 服务器的机器,可以使用 hosts allow 的定义方式来进行定义。默认是没有 hosts deny 定义。

ignore errors指定 rsyncd 在判断是否运行传输时的删除操作时忽略 server 上的 IO 错误,一般来说 rsync 在出现 IO 错误时将将跳过--delete操作,以防止因为暂时的资源不足或其它 IO 错误导致的严重问题。

ignore nonreadable指定 rysnc 服务器完全忽略那些用户没有访问权限的文件。这对于在需要备份的目录中有些文件是不应该被备份者得到的情况是有意义的。

lock file指定支持 max connections 参数的锁文件,默认值是 / var/run/rsyncd.lock。

transfer logging使 rsync 服务器使用 ftp 格式的文件来记录下载和上载操作在自己单独的日志中。

log format通过该选项用户在使用 transfer logging 可以自己定制日志文件的字段。其格式是一个包含格式定义符的字符串,可以使用的格式定义符如下:

一篇文详解rsync 命令

 

 

timeout通过该选项可以覆盖客户指定的 IP 超时时间。通过该选项可以确保 rsync 服务器不会永远等待一个崩溃的客户端。超时单位为秒钟,0 表示没有超时定义,这也是默认值。对于匿名 rsync 服务器来说,一个理想的数字是 600。

refuse options通过该选项可以定义一些不允许客户对该模块使用的命令参数列表。这里必须使用命令全名,而不能是简称。但发生拒绝某个命令的情况时服务器将报告错误信息然后退出。如果要防止使用压缩,应该是:dont compress = *。

dont compress用来指定那些不进行压缩处理再传输的文件,默认值是 *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz

Rsync 命令

在对 rsync 服务器配置结束以后,下一步就需要在客户端发出 rsync 命令来实现将服务器端的文件备份到客户端来。rsync 是一个功能非常强大的工具,其命令也有很多功能特色选项,下面就对它的选项一一进行分析说明。

Rsync 的命令格式可以为以下六种:

一篇文详解rsync 命令

 

 

对应于以上六种命令格式,rsync 有六种不同的工作模式:

  1. 拷贝本地文件。当 SRC 和 DES 路径信息都不包含有单个冒号”:” 分隔符时就启动这种工作模式。如:rsync -a /data /backup
  2. 使用一个远程 shell 程序 (如 rsh、ssh) 来实现将本地机器的内容拷贝到远程机器。当 DST 路径地址包含单个冒号”:”分隔符时启动该模式。如:rsync -avz *.c foo:src
  3. 使用一个远程 shell 程序 (如 rsh、ssh) 来实现将远程机器的内容拷贝到本地机器。当 SRC 地址路径包含单个冒号”:”分隔符时启动该模式。如:rsync -avz foo:src/bar /data
  4. 从远程 rsync 服务器中拷贝文件到本地机。当 SRC 路径信息包含”::” 分隔符时启动该模式。如:rsync -av root@172.16.78.192::www /databack
  5. 从本地机器拷贝文件到远程 rsync 服务器中。当 DST 路径信息包含”::” 分隔符时启动该模式。如:rsync -av /databack root@172.16.78.192::www
  6. 列远程机的文件列表。这类似于 rsync 传输,不过只要在命令中省略掉本地机信息即可。如:rsync -v rsync://172.16.78.192/www

rsync 参数的具体解释如下:

一篇文详解rsync 命令

 


一篇文详解rsync 命令

 

 

Rsync 使用实例

SSH 方式

在服务端启动 ssh 服务

一篇文详解rsync 命令

 

 

使用 rsync 进行同步

接下来就可以在客户端使用 rsync 命令来备份服务端上的数据了,SSH 方式是通过系统用户来进行备份的,如下:

一篇文详解rsync 命令

 

 

上面的信息描述了整个的备份过程,以及总共备份数据的大小。

后台服务方式

启动 rsync 服务

编辑 / etc/x.NETd.d/rsync 文件,将其中的 disable=yes 改为 disable=no,并重启 xinetd 服务,如下:

一篇文详解rsync 命令

 

 

或者自己手动启动并添加自启动:

一篇文详解rsync 命令

 

 

创建配置文件

默认安装好 rsync 程序后,并不会自动创建 rsync 的主配置文件,需要手工来创建,其主配置文件为 “/etc/rsyncd.conf”,创建该文件并插入如下内容:

一篇文详解rsync 命令

 

 

创建密码文件

采用这种方式不能使用系统用户对客户端进行认证,所以需要创建一个密码文件,其格式为 “username:password”,用户名可以和密码可以随便定义,最好不要和系统帐户一致,同时要把创建的密码文件权限设置为 600,这在前面的模块参数做了详细介绍。

一篇文详解rsync 命令

 

 

备份

完成以上工作,现在就可以对数据进行备份了,如下:

一篇文详解rsync 命令

 

 

恢复

当服务器的数据出现问题时,那么这时就需要通过客户端的数据对服务端进行恢复,但前提是服务端允许客户端有写入权限,否则也不能在客户端直接对服务端进行恢复,使用 rsync 对数据进行恢复的方法如下:

一篇文详解rsync 命令

 

 

示例脚本

这里这些脚本都是 rsync 网站上的例子:

1、每隔七天将数据往中心服务器做增量备份

一篇文详解rsync 命令

 

 

2、备份至一个空闲的硬盘

一篇文详解rsync 命令

 

 

3、对 vger.rutgers.edu 的 cvs 树进行镜像

一篇文详解rsync 命令

 

 

FAQ

Q:如何通过 ssh 进行 rsync,而且无须输入密码?

A:可以通过以下几个步骤

  1. 通过 ssh-keygen 在 server A 上建立 SSH keys,不要指定密码,你会在~/.ssh 下看到 identity 和 identity.pub 文件
  2. 在 server B 上的 home 目录建立子目录. ssh
  3. 将 A 的 identity.pub 拷贝到 server B 上
  4. 将 identity.pub 加到~[user b]/.ssh/authorized_keys
  5. 于是 server A 上的 A 用户,可通过下面命令以用户 B ssh 到 server B 上了 e.g.ssh -l userB serverB
  6. 这样就使 server A 上的用户 A 就可以 ssh 以用户 B 的身份无需密码登陆到 server B 上了。

Q:如何通过在不危害安全的情况下通过防火墙使用 rsync?

A:解答如下:

这通常有两种情况,一种是服务器在防火墙内,一种是服务器在防火墙外。无论哪种情况,通常还是使用 ssh,这时最好新建一个备份用户,并且配置 sshd 仅允许这个用户通过 RSA 认证方式进入。如果服务器在防火墙内,则最好限定客户端的 IP 地址,拒绝其它所有连接。如果客户机在防火墙内,则可以简 单允许防火墙打开 TCP 端口 22 的 ssh 外发连接就 ok 了。

Q:我能将更改过或者删除的文件也备份上来吗?

A:当然可以:

你可以使用如:rsync -other -options -backupdir = ./backup-2000-2-13 ...这样的命令来实现。

这样如果源文件:/path/to/some/file.c 改变了,那么旧的文件就会被移到./backup-2000-2-13/path/to/some/file.c,

这里这个目录需要自己手工建立起来

Q:我需要在防火墙上开放哪些端口以适应 rsync?

A:视情况而定

rsync 可以直接通过 873 端口的 tcp 连接传文件,也可以通过 22 端口的 ssh 来进行文件传递,但你也可以通过下列命令改变它的端口:

rsync --port 8730 otherhost::

或者

rsync -e 'ssh -p 2002' otherhost:

Q:我如何通过 rsync 只复制目录结构,忽略掉文件呢?

A:rsync -av --include '*/' --exclude '*' source-dir dest-dir

Q:为什么我总会出现 “Read-only file system” 的错误呢?

A:看看是否忘了设 “read only = no” 了

Q:为什么我会出现‘@ERROR: invalid gid’的错误呢?

A:rsync 使用时默认是用 uid=nobody;gid=nobody 来运行的,如果你的系统不存在 nobody 组的话,就会出现这样的错误,可以试试 gid = nogroup 或者其它

Q:绑定端口 873 失败是怎么回事?

A:如果你不是以 root 权限运行这一守护进程的话,因为 1024 端口以下是特权端口,会出现这样的错误。你可以用–port 参数来改变。

Q:为什么我认证失败?

A:从你的命令行看来:

一篇文详解rsync 命令

 

 

应该是没有以你的用户名登陆导致的问题,试试rsync -a max@144.16.251.213::test test



Tags:   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
Create 2024百度AI开发者大会:李彦宏带来三大AI开发工具,让人人都是开发者
“未来,自然语言将成为新的通用编程语言,你只要会说话,就可以成为一名开发者,用自己的创造力改变世界。”4月16日,Create 2024百度AI开发者大会在深圳举办。百度创始人、董事长兼...【详细内容】
2024-04-17  Search:   点击:(2)  评论:(0)  加入收藏
“刘强东”当主播,扶得起京东直播吗?
定焦(dingjiaoone)原创作者 | 苏琦编辑 | 金玙璠“东哥呢,在哪里?”4月16日下午6点18分,刘强东的数字人形象“采销东哥”开启“直播首秀”,同时亮相京东家电家居、京东超市采销直...【详细内容】
2024-04-17  Search:   点击:(2)  评论:(0)  加入收藏
AI圈公开的秘密:天下模型一大抄
抄袭已经成为AI世界公开的秘密。据The Information周一的文章,许多初创公司的AI聊天机器人很可能是采用了OpenAI和其他公司的数据开发的。这些机器人在某些任务上可以媲美GPT...【详细内容】
2024-04-17  Search:   点击:(4)  评论:(0)  加入收藏
聚焦“一房二卖”等问题 最高检发布典型案例
记者4月16日从最高人民检察院获悉,最高检近日印发了6件涉房地产纠纷民事检察监督典型案例,聚焦“一房二卖”、逾期办理产权证、违约金调整等高发监督事项。“一房二卖”等违法...【详细内容】
2024-04-17  Search:   点击:(2)  评论:(0)  加入收藏
今年买二手房最划算?70城二手房价格全都降了!
国家统计局4月16日公布的数据显示,2024年一季度,全国房地产开发投资同比下降9.5%。从销售来看,一季度,销售面积同比下降19.4%;新建商品房销售额下降27.6%。国家统计局城市司首席...【详细内容】
2024-04-17  Search:   点击:(1)  评论:(0)  加入收藏
周鸿祎力挺手机支架 喊话余承东:手机在老婆手里 你能专心开车吗
快科技4月17日消息,360周鸿祎近日再次提及了雷军和余承东引发的关于手机支架的讨论,强调了手机支架与驾驶安全之间的关联。周鸿祎认为,余承东在智界S7发布会上对手机支架的讽刺...【详细内容】
2024-04-17  Search:   点击:(1)  评论:(0)  加入收藏
Android 15 有望引入应用隔离功能,进一步提升系统安全性
IT之家 4 月 17 日消息,即将推出的 Android 15 系统可能引入一项全新功能:应用隔离。这一功能将更好地保护用户免受行为异常应用的侵害。Android 系统一直拥有强大的安全防护...【详细内容】
2024-04-17  Search:   点击:(4)  评论:(0)  加入收藏
全球首个AI程序员Devin造假?业内人士:质疑有理,但程序员已离不开AI
·号称全球首个AI人工智能软件师Devin日前被网络博主质疑造假、炒作。业内人士分析认为,该位博主质疑有理有据,Devin的“惊人效果”确实存在一些商业炒作的嫌疑。号称“...【详细内容】
2024-04-17  Search:   点击:(2)  评论:(0)  加入收藏
“刘强东”直播首秀,释放了什么信号?
文|新浪科技 原祎鸣“3!2!1!上链接!”昨晚,刘强东AI数字人(以下简称“刘强东”)完成了首秀。虽然此前已有不少明星、头部主播的“分身”活跃在直播间中,技术制造的“替代者”已不算...【详细内容】
2024-04-17  Search:   点击:(2)  评论:(0)  加入收藏
A股突发!美联储传来大消息
全球市场动荡的根源其实还在于美元!最近,全球股债基本处于双杀状态,昨天A股亦是惨烈。在这种市场情绪背后,有人错误将之归咎于资本市场新规,其实根源在于美元,因为全球主要资产几...【详细内容】
2024-04-17  Search:   点击:(2)  评论:(0)  加入收藏
▌简易百科推荐
向量数据库落地实践
本文基于京东内部向量数据库vearch进行实践。Vearch 是对大规模深度学习向量进行高性能相似搜索的弹性分布式系统。详见: https://github.com/vearch/zh_docs/blob/v3.3.X/do...【详细内容】
2024-04-03  京东云开发者    Tags:向量数据库   点击:(9)  评论:(0)  加入收藏
原来 SQL 函数是可以内联的!
介绍在某些情况下,SQL 函数(即指定LANGUAGE SQL)会将其函数体内联到调用它的查询中,而不是直接调用。这可以带来显著的性能提升,因为函数体可以暴露给调用查询的规划器,从而规划器...【详细内容】
2024-04-03  红石PG  微信公众号  Tags:SQL 函数   点击:(7)  评论:(0)  加入收藏
如何正确选择NoSQL数据库
译者 | 陈峻审校 | 重楼Allied Market Research最近发布的一份报告指出,业界对于NoSQL数据库的需求正在持续上升。2022年,全球NoSQL市场的销售额已达73亿美元,预计到2032年将达...【详细内容】
2024-03-28    51CTO  Tags:NoSQL   点击:(19)  评论:(0)  加入收藏
为什么数据库连接池不采用 IO 多路复用?
这是一个非常好的问题。IO多路复用被视为是非常好的性能助力器。但是一般我们在使用DB时,还是经常性采用c3p0,tomcat connection pool等技术来与DB连接,哪怕整个程序已经变成以...【详细内容】
2024-03-27  dbaplus社群    Tags:数据库连接池   点击:(19)  评论:(0)  加入收藏
八个常见的数据可视化错误以及如何避免它们
在当今以数据驱动为主导的世界里,清晰且具有洞察力的数据可视化至关重要。然而,在创建数据可视化时很容易犯错误,这可能导致对数据的错误解读。本文将探讨一些常见的糟糕数据可...【详细内容】
2024-03-26  DeepHub IMBA  微信公众号  Tags:数据可视化   点击:(11)  评论:(0)  加入收藏
到底有没有必要分库分表,如何考量的
关于是否需要进行分库分表,可以根据以下考量因素来决定: 数据量和负载:如果数据量巨大且负载压力较大,单一库单一表可能无法满足性能需求,考虑分库分表。 数据增长:预估数据增长...【详细内容】
2024-03-20  码上遇见你  微信公众号  Tags:分库分表   点击:(17)  评论:(0)  加入收藏
在 SQL 中写了 in 和 not in,技术总监说要炒了我……
WHY?IN 和 NOT IN 是比较常用的关键字,为什么要尽量避免呢?1、效率低项目中遇到这么个情况:t1表 和 t2表 都是150w条数据,600M的样子,都不算大。但是这样一句查询 ↓select *...【详细内容】
2024-03-18  dbaplus社群    Tags:SQL   点击:(9)  评论:(0)  加入收藏
应对慢SQL的致胜法宝:7大实例剖析+优化原则
大促备战,最大的隐患项之一就是慢SQL,对于服务平稳运行带来的破坏性最大,也是日常工作中经常带来整个应用抖动的最大隐患,在日常开发中如何避免出现慢SQL,出现了慢SQL应该按照什...【详细内容】
2024-03-14  京东云开发者    Tags:慢SQL   点击:(10)  评论:(0)  加入收藏
过去一年,我看到了数据库领域的十大发展趋势
作者 | 朱洁策划 | 李冬梅过去一年,行业信心跌至冰点2022 年中,红衫的一篇《适应与忍耐》的报告,对公司经营提出了预警,让各个公司保持现金流,重整团队,想办法增加盈利。这篇报告...【详细内容】
2024-03-12    InfoQ  Tags:数据库   点击:(37)  评论:(0)  加入收藏
SQL优化的七个方法,你会哪个?
一、插入数据优化 普通插入:在平时我们执行insert语句的时候,可能都是一条一条数据插入进去的,就像下面这样。INSERT INTO `department` VALUES(1, '研发部(RD)', &#39...【详细内容】
2024-03-07  程序员恰恰  微信公众号  Tags:SQL优化   点击:(22)  评论:(0)  加入收藏
相关文章
    无相关信息
站内最新
站内热门
站内头条