Linux下Rsync+Inotify-tools实现数据实时同步
說(shuō)明:
操作系統(tǒng):CentOS 5.X
源服務(wù)器:192.168.21.129
目標(biāo)服務(wù)器:192.168.21.127,192.168.21.128
目的:把源服務(wù)器上/home/www.osyunwei.com目錄實(shí)時(shí)同步到目標(biāo)服務(wù)器的/home/www.osyunwei.com下
具體操作:
第一部分:分別在兩臺(tái)目標(biāo)服務(wù)器192.168.21.127,192.168.21.128上操作
一、分別在兩臺(tái)在目標(biāo)服務(wù)器安裝Rsync服務(wù)端
1、關(guān)閉SELINUX
vi /etc/selinux/config?#編輯防火墻配置文件
#SELINUX=enforcing?#注釋掉
#SELINUXTYPE=targeted?#注釋掉
SELINUX=disabled?#增加
:wq!?#保存,退出
setenforce 0 ?#立即生效
2、開(kāi)啟防火墻tcp 873端口(Rsync默認(rèn)端口)
vi /etc/sysconfig/iptables?#編輯防火墻配置文件
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 873 -j ACCEPT
:wq!?#保存,退出
/etc/init.d/iptables restart?#最后重啟防火墻使配置生效
3、安裝Rsync服務(wù)端軟件
yum install rsync xinetd?#安裝
vi /etc/xinetd.d/rsync?#編輯配置文件,設(shè)置開(kāi)機(jī)啟動(dòng)rsync
disable = no?#修改為no
:wq!?#保存退出
/etc/init.d/xinetd start?#啟動(dòng)(CentOS中是以xinetd來(lái)管理Rsync服務(wù)的)
4、創(chuàng)建rsyncd.conf配置文件
vi /etc/rsyncd.conf?#創(chuàng)建配置文件,添加以下代碼
log file = /var/log/rsyncd.log?#日志文件位置,啟動(dòng)rsync后自動(dòng)產(chǎn)生這個(gè)文件,無(wú)需提前創(chuàng)建
pidfile = /var/run/rsyncd.pid??#pid文件的存放位置
lock file = /var/run/rsync.lock??#支持max connections參數(shù)的鎖文件
secrets file = /etc/rsync.pass??#用戶認(rèn)證配置文件,里面保存用戶名稱和密碼,后面會(huì)創(chuàng)建這個(gè)文件
motd file = /etc/rsyncd.Motd??#rsync啟動(dòng)時(shí)歡迎信息頁(yè)面文件位置(文件內(nèi)容自定義)
[home_www.osyunwei.com]?#自定義名稱
path = /home/www.osyunwei.com/?#rsync服務(wù)端數(shù)據(jù)目錄路徑
comment = home_www.osyunwei.com?#模塊名稱與[home_www.osyunwei.com]自定義名稱相同
uid = root?#設(shè)置rsync運(yùn)行權(quán)限為root
gid = root?#設(shè)置rsync運(yùn)行權(quán)限為root
port=873??#默認(rèn)端口
use chroot = no?#默認(rèn)為true,修改為no,增加對(duì)目錄文件軟連接的備份
read only = no??#設(shè)置rsync服務(wù)端文件為讀寫(xiě)權(quán)限
list = no?#不顯示rsync服務(wù)端資源列表
max connections = 200?#最大連接數(shù)
timeout = 600??#設(shè)置超時(shí)時(shí)間
auth users = home_www.osyunwei.com_user?#執(zhí)行數(shù)據(jù)同步的用戶名,可以設(shè)置多個(gè),用英文狀態(tài)下逗號(hào)隔開(kāi)
hosts allow = 192.168.21.129??#允許進(jìn)行數(shù)據(jù)同步的客戶端IP地址,可以設(shè)置多個(gè),用英文狀態(tài)下逗號(hào)隔開(kāi)
hosts deny = 192.168.21.254?#禁止數(shù)據(jù)同步的客戶端IP地址,可以設(shè)置多個(gè),用英文狀態(tài)下逗號(hào)隔開(kāi)
:wq!??#保存,退出
5、創(chuàng)建用戶認(rèn)證文件
vi /etc/rsync.pass?#配置文件,添加以下內(nèi)容
home_www.osyunwei.com_user:123456??#格式,用戶名:密碼,可以設(shè)置多個(gè),每行一個(gè)用戶名:密碼
:wq!??#保存,退出
6、設(shè)置文件權(quán)限
chmod 600 /etc/rsyncd.conf??#設(shè)置文件所有者讀取、寫(xiě)入權(quán)限
chmod 600 /etc/rsync.pass??#設(shè)置文件所有者讀取、寫(xiě)入權(quán)限
7、啟動(dòng)rsync
/etc/init.d/xinetd start??#啟動(dòng)
service xinetd stop???#停止
service xinetd restart?#重新啟動(dòng)
第二部分:在源服務(wù)器192.168.21.129上操作
一、安裝Rsync客戶端
1、關(guān)閉SELINUX
vi /etc/selinux/config?#編輯防火墻配置文件
#SELINUX=enforcing?#注釋掉
#SELINUXTYPE=targeted?#注釋掉
SELINUX=disabled?#增加
:wq!?#保存,退出
setenforce 0?#立即生效
2、開(kāi)啟防火墻tcp 873端口(Rsync默認(rèn)端口,做為客戶端的Rsync可以不用開(kāi)啟873端口)
vi /etc/sysconfig/iptables?#編輯防火墻配置文件
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 873 -j ACCEPT
:wq!?#保存,退出
/etc/init.d/iptables restart?#最后重啟防火墻使配置生效
3、安裝Rsync客戶端軟件
whereis rsync???#查看系統(tǒng)是否已安裝rsync,出現(xiàn)下面的提示,說(shuō)明已經(jīng)安裝
rsync: /usr/bin/rsync /usr/share/man/man1/rsync.1.gz
yum install? xinetd??#只安裝xinetd即可,CentOS中是以xinetd來(lái)管理rsync服務(wù)的
yum install rsync xinetd?#如果默認(rèn)沒(méi)有rsync,運(yùn)行此命令進(jìn)行安裝rsync和xinetd
vi /etc/xinetd.d/rsync?#編輯配置文件,設(shè)置開(kāi)機(jī)啟動(dòng)rsync
disable = no?#修改為
/etc/init.d/xinetd start?#啟動(dòng)(CentOS中是以xinetd來(lái)管理rsync服務(wù)的)
4、創(chuàng)建認(rèn)證密碼文件
vi /etc/passwd.txt??#編輯文件,添加以下內(nèi)容
123456?#密碼
:wq!?#保存退出
chmod 600 /etc/passwd.txt?#設(shè)置文件權(quán)限,只設(shè)置文件所有者具有讀取、寫(xiě)入權(quán)限即可
5、測(cè)試源服務(wù)器192.168.21.129到兩臺(tái)目標(biāo)服務(wù)器192.168.21.127,192.168.21.128之間的數(shù)據(jù)同步
mkdir /home/www.osyunwei.com/ceshi?#在源服務(wù)器上創(chuàng)建測(cè)試文件夾,然后在源服務(wù)器運(yùn)行下面2行命令
rsync -avH --port=873 --progress --delete? /home/www.osyunwei.com/? home_www.osyunwei.com_user@192.168.21.127::home_www.osyunwei.com --password-file=/etc/passwd.txt
rsync -avH --port=873 --progress --delete? /home/www.osyunwei.com/? home_www.osyunwei.com_user@192.168.21.128::home_www.osyunwei.com --password-file=/etc/passwd.txt
運(yùn)行完成后,分別在兩臺(tái)目標(biāo)服務(wù)器192.168.21.127,192.168.21.128上查看,在/home/www.osyunwei.com目錄下有ceshi文件夾,說(shuō)明數(shù)據(jù)同步成功。
二、安裝Inotify-tools工具,實(shí)時(shí)觸發(fā)rsync進(jìn)行同步
1、查看服務(wù)器內(nèi)核是否支持inotify
ll /proc/sys/fs/inotify ??#列出文件目錄,出現(xiàn)下面的內(nèi)容,說(shuō)明服務(wù)器內(nèi)核支持inotify
-rw-r--r-- 1 root root 0 Mar? 7 02:17 max_queued_events
-rw-r--r-- 1 root root 0 Mar? 7 02:17 max_user_instances
-rw-r--r-- 1 root root 0 Mar? 7 02:17 max_user_watches
備注:Linux下支持inotify的內(nèi)核最小為2.6.13,可以輸入命令:uname -a查看內(nèi)核
CentOS 5.X 內(nèi)核為2.6.18,默認(rèn)已經(jīng)支持inotify
2、安裝inotify-tools
yum install make? gcc gcc-c++??#安裝編譯工具
inotify-tools下載地址:http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
上傳inotify-tools-3.14.tar.gz到/usr/local/src目錄下
cd /usr/local/src
tar zxvf inotify-tools-3.14.tar.gz??#解壓
cd inotify-tools-3.14?#進(jìn)入解壓目錄
./configure --prefix=/usr/local/inotify??#配置
make??#編譯
make install??#安裝
3、設(shè)置系統(tǒng)環(huán)境變量,添加軟連接
echo "PATH=/usr/local/inotify/bin:$PATH" >>/etc/profile.d/inotify.sh
source /etc/profile.d/inotify.sh??#使設(shè)置立即生效
echo "/usr/local/inotify/lib" >/etc/ld.so.conf.d/inotify.conf
ln -s /usr/local/inotify/include? /usr/include/inotify
4、修改inotify默認(rèn)參數(shù)(inotify默認(rèn)內(nèi)核參數(shù)值太小)
查看系統(tǒng)默認(rèn)參數(shù)值
sysctl -a | grep max_queued_events
結(jié)果是:fs.inotify.max_queued_events = 16384
sysctl -a | grep max_user_watches
結(jié)果是:fs.inotify.max_user_watches = 8192
sysctl -a | grep max_user_instances
結(jié)果是:fs.inotify.max_user_instances = 128
修改參數(shù):
sysctl -w fs.inotify.max_queued_events="99999999"
sysctl -w fs.inotify.max_user_watches="99999999"
sysctl -w fs.inotify.max_user_instances="65535"
vi /etc/sysctl.conf?#添加以下代碼
fs.inotify.max_queued_events=99999999
fs.inotify.max_user_watches=99999999
fs.inotify.max_user_instances=65535
:wq!?#保存退出
參數(shù)說(shuō)明:
max_queued_events:
inotify隊(duì)列最大長(zhǎng)度,如果值太小,會(huì)出現(xiàn)"** Event Queue Overflow **"錯(cuò)誤,導(dǎo)致監(jiān)控文件不準(zhǔn)確
max_user_watches:
要同步的文件包含多少目錄,可以用:find /home/www.osyunwei.com -type d | wc -l 統(tǒng)計(jì),必須保證max_user_watches值大于統(tǒng)計(jì)結(jié)果(這里/home/www.osyunwei.com為同步文件目錄)
max_user_instances:
每個(gè)用戶創(chuàng)建inotify實(shí)例最大值
5、創(chuàng)建腳本,實(shí)時(shí)觸發(fā)rsync進(jìn)行同步
vi /usr/local/inotify/rsync.sh???#編輯,添加以下代碼
======================================
#!/bin/sh
srcdir=/home/www.osyunwei.com/
dstdir=home_www.osyunwei.com
excludedir=/usr/local/inotify/exclude.list
rsyncuser=home_www.osyunwei.com_user
rsyncpassdir=/etc/passwd.txt
dstip="192.168.21.127 192.168.21.128"
for ip in $dstip
do
rsync -avH --port=873 --progress --delete? --exclude-from=$excludedir ?$srcdir $rsyncuser@$ip::$dstdir --password-file=$rsyncpassdir
done
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $srcdir |? while read file
do
for ip in $dstip
do
rsync -avH --port=873 --progress --delete? --exclude-from=$excludedir ?$srcdir $rsyncuser@$ip::$dstdir --password-file=$rsyncpassdir
echo "? ${file} was rsynced" >> /tmp/rsync.log 2>&1
done
done
======================================
chmod +x /usr/local/inotify/rsync.sh???#添加腳本執(zhí)行權(quán)限
腳本參數(shù)說(shuō)明:
srcdir=/home/www.osyunwei.com/??#源服務(wù)器同步目錄
dstdir=home_www.osyunwei.com????#目標(biāo)服務(wù)器rsync同步目錄模塊名稱
excludedir=/usr/local/inotify/exclude.list ??
#不需要同步的目錄,如果有多個(gè),每一行寫(xiě)一個(gè)目錄,使用相對(duì)于同步模塊的路徑;
#例如:不需要同步/home/www.osyunwei.com/目錄下的a目錄和b目錄下面的b1目錄,exclude.list文件可以這樣寫(xiě)
a/
b/b1/
rsyncuser=home_www.osyunwei.com_user??#目標(biāo)服務(wù)器rsync同步用戶名
rsyncpassdir=/etc/passwd.txt??#目標(biāo)服務(wù)器rsync同步用戶的密碼在源服務(wù)器的存放路徑
dstip="192.168.21.127 192.168.21.128"??#目標(biāo)服務(wù)器ip,多個(gè)ip用空格分開(kāi)
/tmp/rsync.log??#腳本運(yùn)行日志記錄
6、設(shè)置腳本開(kāi)機(jī)自動(dòng)執(zhí)行
vi /etc/rc.d/rc.local??#編輯,在最后添加一行
sh /usr/local/inotify/rsync.sh &?#設(shè)置開(kāi)機(jī)自動(dòng)在后臺(tái)運(yùn)行腳本
:wq!??#保存退出
7、測(cè)試inotify實(shí)時(shí)觸發(fā)rsync同步腳本是否正常運(yùn)行
在源服務(wù)器192.168.21.129上創(chuàng)建文件inotify_rsync_ceshi
mkdir /home/www.osyunwei.com/inotify_rsync_ceshi
重新啟動(dòng)源服務(wù)器:192.168.21.129
等系統(tǒng)啟動(dòng)之后,查看兩臺(tái)目標(biāo)服務(wù)器192.168.21.127,192.168.21.128的/home/www.osyunwei.com下是否有inotify_rsync_ceshi文件夾
然后再在源服務(wù)器192.168.21.129創(chuàng)建文件夾inotify_rsync_ceshi_new
mkdir /home/www.osyunwei.com/inotify_rsync_ceshi_new
繼續(xù)查看兩臺(tái)目標(biāo)服務(wù)器192.168.21.127,192.168.21.128的/home/www.osyunwei.com下是否有inotify_rsync_ceshi_new文件夾
如果以上測(cè)試都通過(guò),說(shuō)明inotify實(shí)時(shí)觸發(fā)rsync同步腳本運(yùn)行正常。
至此,Linux下Rsync+Inotify-tools實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)同步完成。
擴(kuò)展閱讀:
============================================
inotify參數(shù)
-m 是保持一直監(jiān)聽(tīng)
-r 是遞歸查看目錄
-q 是打印出事件
-e create,move,delete,modify,attrib 是指 “監(jiān)聽(tīng) 創(chuàng)建 移動(dòng) 刪除 寫(xiě)入 權(quán)限” 事件
rsync參數(shù)
============================================
-v, --verbose 詳細(xì)模式輸出
-q, --quiet 精簡(jiǎn)輸出模式
-c, --checksum 打開(kāi)校驗(yàn)開(kāi)關(guān),強(qiáng)制對(duì)文件傳輸進(jìn)行校驗(yàn)
-a, --archive 歸檔模式,表示以遞歸方式傳輸文件,并保持所有文件屬性,等于-rlptgoD
-r, --recursive 對(duì)子目錄以遞歸模式處理
-R, --relative 使用相對(duì)路徑信息
-b, --backup 創(chuàng)建備份,也就是對(duì)于目的已經(jīng)存在有同樣的文件名時(shí),將老的文件重新命名為~filename。可以使用--suffix選項(xiàng)來(lái)指定不同的備份文件前綴。
--backup-dir 將備份文件(如~filename)存放在在目錄下。
-suffix=SUFFIX 定義備份文件前綴
-u, --update 僅僅進(jìn)行更新,也就是跳過(guò)所有已經(jīng)存在于DST,并且文件時(shí)間晚于要備份的文件。(不覆蓋更新的文件)
-l, --links 保留軟鏈結(jié)
-L, --copy-links 想對(duì)待常規(guī)文件一樣處理軟鏈結(jié)
--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹(shù)以外的鏈結(jié)
--safe-links 忽略指向SRC路徑目錄樹(shù)以外的鏈結(jié)
-H, --hard-links 保留硬鏈結(jié)
-p, --perms 保持文件權(quán)限
-o, --owner 保持文件屬主信息
-g, --group 保持文件屬組信息
-D, --devices 保持設(shè)備文件信息
-t, --times 保持文件時(shí)間信息
-S, --sparse 對(duì)稀疏文件進(jìn)行特殊處理以節(jié)省DST的空間
-n, --dry-run現(xiàn)實(shí)哪些文件將被傳輸
-W, --whole-file 拷貝文件,不進(jìn)行增量檢測(cè)
-x, --one-file-system 不要跨越文件系統(tǒng)邊界
-B, --block-size=SIZE 檢驗(yàn)算法使用的塊尺寸,默認(rèn)是700字節(jié)
-e, --rsh=COMMAND 指定使用rsh、ssh方式進(jìn)行數(shù)據(jù)同步
--rsync-path=PATH 指定遠(yuǎn)程服務(wù)器上的rsync命令所在路徑信息
-C, --cvs-exclude 使用和CVS一樣的方法自動(dòng)忽略文件,用來(lái)排除那些不希望傳輸?shù)奈募?/p>
--existing 僅僅更新那些已經(jīng)存在于DST的文件,而不備份那些新創(chuàng)建的文件
--delete 刪除那些DST中SRC沒(méi)有的文件
--delete-excluded 同樣刪除接收端那些被該選項(xiàng)指定排除的文件
--delete-after 傳輸結(jié)束以后再刪除
--ignore-errors 及時(shí)出現(xiàn)IO錯(cuò)誤也進(jìn)行刪除
--max-delete=NUM 最多刪除NUM個(gè)文件
--partial 保留那些因故沒(méi)有完全傳輸?shù)奈募?#xff0c;以是加快隨后的再次傳輸
--force 強(qiáng)制刪除目錄,即使不為空
--numeric-ids 不將數(shù)字的用戶和組ID匹配為用戶名和組名
--timeout=TIME IP超時(shí)時(shí)間,單位為秒
-I, --ignore-times 不跳過(guò)那些有同樣的時(shí)間和長(zhǎng)度的文件
--size-only 當(dāng)決定是否要備份文件時(shí),僅僅察看文件大小而不考慮文件時(shí)間
--modify-window=NUM 決定文件是否時(shí)間相同時(shí)使用的時(shí)間戳窗口,默認(rèn)為0
-T --temp-dir=DIR 在DIR中創(chuàng)建臨時(shí)文件
--compare-dest=DIR 同樣比較DIR中的文件來(lái)決定是否需要備份
-P 等同于 --partial
--progress 顯示備份過(guò)程
-z, --compress 對(duì)備份的文件在傳輸時(shí)進(jìn)行壓縮處理
--exclude=PATTERN 指定排除不需要傳輸?shù)奈募J?/p>
--include=PATTERN 指定不排除而需要傳輸?shù)奈募J?/p>
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 綁定到特定的地址
--config=FILE 指定其他的配置文件,不使用默認(rèn)的rsyncd.conf文件
--port=PORT 指定其他的rsync服務(wù)端口
--blocking-io 對(duì)遠(yuǎn)程shell使用阻塞IO
-stats 給出某些文件的傳輸狀態(tài)
--progress 在傳輸時(shí)現(xiàn)實(shí)傳輸過(guò)程
--log-format=formAT 指定日志文件格式
--password-file=FILE 從FILE中得到密碼
--bwlimit=KBPS 限制I/O帶寬,KBytes per second
-h, --help 顯示幫助信息
============================================
轉(zhuǎn)載于:https://blog.51cto.com/fanyk/1793668
《新程序員》:云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作,文字、視頻、音頻交互閱讀總結(jié)
以上是生活随笔為你收集整理的Linux下Rsync+Inotify-tools实现数据实时同步的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: JavaScript强化教程——java
- 下一篇: Jquery ajax调用后台aspx后