Rsync+inotify搭建实时同步系统
Rsync 優點
rsync具有安全性高、備份迅速、支持增量備份等優點,通過rsync可以解決對實時性要求不高的數據備份需求,例如定期地備份文件服務器數據到遠程服務器上,對本地磁盤定期進行數據鏡像等。
Rsync 不足
隨著應用系統規模的不斷擴大,對數據的安全性和可靠性提出了更高的要求,rsync便暴露出了很多不足之處。首先,rsync同步數據時,需要掃描所有文件后進行比對,然后進行差量傳輸。如果文件數量達到了百萬量級及以上時,掃描文件就非常耗費時間,有時還會出現只是很少一部分數據發生了變化,因此rsync就變得非常低效了。其次,rsync不能夠實時監測、同步數據,雖然它可以通過Linux守護進程的方式觸發同步,但是兩次觸發動作一定會出現時間差,可能導致服務器端和客戶端的數據出現不一致,后期無法在出現故障時完全恢復數據。
Rsync+inotify組合
為解決以上問題而出現的,實現了數據的實時同步
inotify是什么 ?
inotify是一種強大的、細粒度的、異步的文件系統事件監控機制,Linux內核從2.6.13版本起,加入了對inotify的支持。通過inotify可以監控文件系統中添加、刪除、修改、移動等各種事件,利用這個內核接口,inotify-tools便可以監控文件系統下文件的各種變化情況了。
檢查內核是否支持inotify:
實驗案例:rsync+inotify搭建實時同步系統
案例描述:在前文Haproxy搭建高可用Web集群的網站拓撲架構圖基礎上,實現兩臺Web站點數據的實時同步,web1服務器為內容發布節點,web2服務器為同步節點(本文主要說明rsync+inotify實時同步數據技術,其他請閱讀前文,謝謝!)。
系統環境
| 負載調度服務器: | CentOS 7.0 x86_64 | 192.168.100.25 | 無 | haproxy-1.5.19.tar.gz |
| web1節點服務器: | CentOS 7.0 x86_64 | 192.168.100.26 | /www/wwwroot | nginx-1.12.0.tar.gz、rsync-3.1.3.tar.gz、inotify-tools-3.14.tar.gz |
| web2節點服務器: | CentOS 7.0 x86_64 | 192.168.100.27 | /web2/wwwroot | nginx-1.12.0.tar.gz、rsync-3.1.3.tar.gz |
| Win 7 客戶端: | Windows 7 | 192.168.100.30 | 無 | 無 |
關閉防火墻及Selinux
systemctl stop firewalld setenforce 0軟件包:rsync+inotify 密碼:do45
開始部署
inotify-tools是用來監控文件系統變化的工具,因此必須安裝在內容發布系統上,服務節點無需安裝它,而web2服務器上需要安裝rsync實現文件傳輸。
一、web2服務器(待同步數據:rsync)
1.安裝rsync軟件包
#解壓 tar zxvf rsync-3.1.3.tar.gz -C /opt#切換目錄 cd /opt/rsync-3.1.3#配置 ./configure#編譯及安裝 make && make install2.修改rsync配置文件:
vim /etc/rsyncd.conf
#/etc/rsyncd: configuration file for rsync daemon mode #See rsyncd.conf man page for more options. #configuration example: uid = nobody gid = nobody use chroot = yes max connections = 10 strict mode=yes pid file = /var/run/rsyncd.pid lock file=/var/run/rsync.lock log file=/var/log/rsyncd.log [web1]path = /web1/wwwrootcomment = web1 fileignore errrorsread only=nowrite only=nohosts allow=*hosts deny=192.168.100.10list=falseuid=rootgid=rootauth users=web1usersecrets file=/etc/web1.pass3.創建密碼文件(文件格式:user:pass)
/etc/web1.passweb1user:www123
修改密碼文件權限
chmod 600 /etc/web1.pass4.啟動rsync守護進程
/usr/local/bin/rsync --daemon5.加入系統自啟動文件
echo "/usr/local/bin/rsync --daemon" >> /etc/rc.local6.查看rsync進程
ps -ef | grep rsync二、web1服務器(內發發布節點:rsync+inotify)
1.安裝rsync軟件包
#解壓 tar zxvf rsync-3.1.3.tar.gz -C /opt#切換目錄 cd /opt/rsync-3.1.3#配置 ./configure#編譯及安裝 make && make install2.新建密碼文件,需和節點服務器密碼一致
vim /etc/server.passwww123
3.修改密碼文件權限
chmod 600 /etc/server.pass4.啟動rsync守護進程
/usr/local/bin/rsync --daemon5.加入系統自啟動文件
echo "/usr/local/bin/rsync --daemon" >> /etc/rc.local6.安裝inotify-tools
#解壓 tar zxvf inotify-tools-3.14.tar.gz -C /opt#切換目錄 cd -C /opt/inotify-tools-3.14#配置 ./configure#編譯及安裝 make && make install7.編寫shell腳本來配置內容發布節點
vim /web/inotifyrsync.sh
#!/bin/bash host1=192.168.100.26 src=/web/wwwroot/ dst1=web1 user1=web1user /usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,delete,create,attrib $src \ | while read files do/usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/server.pass $src $user1@$host1::$dst1 > /dev/null 2>&1echo "${files} was rsynced." >> /tmp/rsync.log 2>&1 done8.為其指定可執行權限,然后放入后臺運行
chmod 755 /web/inotifyrsync.sh /web/inotifyrsync.sh &9.將腳本加入系統自啟動文件
echo "/web/inotifyrsync.sh &" >> /etc/rc.local測試
在web1服務器節點的/web/wwwroot目錄下添加、刪除、修改文件,然后到web2服務器節點對應目錄去查看文件是否跟隨發布節點同步變化。
web1服務器為內容發布節點:
web2服務器進行數據同步:
轉載于:https://blog.51cto.com/10316297/2136440
總結
以上是生活随笔為你收集整理的Rsync+inotify搭建实时同步系统的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 配置Tomcat监听80端口配置Tomc
- 下一篇: maven junit scope te