sersync + rsync 实现文件的实时同步
這里有一點要特別注意了，就是在你完成備份之后，先不要把本地的文件都給刪除了，先把服務停了之后再刪除文件，
因為你已刪除，檢查到兩邊不一致，他又會把備份端給刪除了。所以特別得注意了。這里吃過一次虧。
還有在生產的過程當中我遇到一個問題，就是我的源文件端朝所有的服務器端都可以同步文件，唯有一臺不行，那臺服務器的系統是centos 7 的網段是10.23.24的，我的源文件有兩個網段，一個是192.168.220還有個一個10.23.24的（但是這兩個網段都是可以互通的），當時我在centos 7服務器上設置hosts allow 的時候一開始設置的是192.168.220的，但是我不管怎么傳。就是傳不過來，我捯飭了半天，我也不知道怎么回事腦子一轉去看centos 7的rsync的日志了，一看上面顯示的是
“2016/07/28 11:29:06 [122354] rsync denied on module web_log from unknown (10.23.24.xx)”
一看這個就趕緊把host allow給改成10.23.24的了，就行了，但是我現在還是不知道原因是什么，按理說兩個網段都是通的啊，應該可以啊，不管了，希望哪位朋友看到后留個言，給我解惑一下。
這里我想說的是一定要看日志，一定要看日志，一定要看日志!!!!!!!(不然真的是浪費時間啊)
?
?
?
前面我們說過rsync + inotify 的方式來實時的同步文件
今天來記錄一下一項新的東西來實現文件的實時同步
那就是sersync + rsync
實驗環境：
192.168.220.99???? 源文件
192.168.220.98???? 備份文件
sersync的介紹
sersync主要用于服務器同步，web鏡像等功能?；赽oost1.43.0,inotify api,rsync command.開發。目前使用的比較多的同步解決方案是inotify-tools+rsync ，另外一個是google開源項目Openduckbill（依賴于inotify- tools），這兩個都是基于腳本語言編寫的。相比較上面兩個項目，本項目優點是：
sersync是使用c++編寫，而且對linux系統文件系統產生的臨時文件和重復的文件操作進行過濾（詳細見附錄，這個過濾腳本程序沒有實現），所以在結合rsync同步的時候，節省了運行時耗和網絡資源。因此更快。
首先在兩臺機器都安裝上rsync
yum?? -y?? install?? rsync
在備份機上操作詳情參考：http://www.cnblogs.com/post/readauth?url=/smail-bao/p/5667287.html
手動創建一個rsync的配置文件
[root@zabbix logs]# cat /etc/rsyncd.confuid = root
gid = root
usechroot = no
max connections = 20
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[web_log]
path = /data/web_log/
ignore errors
read only = false
writeonly = false
list = false
hosts allow = 192.168.220.99
auth users = backuser
secrets file = /etc/rsync.pass
????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
~??????????????????????????????????
創建如上的配置文件之后，再手動輸入一個密碼
從配置文件當中，我們可以看到我們的密碼文件是/etc/rsync.pass,連接模塊的用戶名是backuser
vim /etc/rsync.pass
文件內容格式如下
backuser:123
然后給這個文件的權限設為600，不然會報錯
chmod 600 /etc/rsync.pass
然后我們就去手動創建備份目錄
mkdir /data/web_log
最后就是啟動rsync,并且設置為開機自動啟動
/usr/bin/rsync --daemon &
echo "/usr/bin/rsync --daemon"? >>/etc/rc.local
?
服務端我們可以給rsync 開一個端口，然后再防火墻上允許該端口
在rsyncd.conf文件中添加
port=55223
然后設置iptables,允許客戶端連接
-A INPUT -s 192.168.220.99/32 -p tcp -m tcp --dport 55873 -j ACCEPT
?
現在就來說源文件端（即客戶端,也就是說你需要同步文件到其他地方的機器，別弄反了）
第一步永遠是安裝軟件
cd /usr/local/src
wget --no-check-certificate https://raw.githubusercontent.com/orangle/sersync/master/release/sersync2.5.4_64bit_binary_stable_final.tar.gz
mkdir /usr/serync
[root@zabbix src]# tar -zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/sersync/
[root@zabbix src]# cd /usr/sersync/GNU-Linux-x86
# cp confxml.xml /usr/local/sersync/conf
# cp sersync2 /usr/local/sersync/bin
echo "123" >> /etc/rsync.pass
這個123密碼是要好服務端的rsync的密碼要相同
chmod 600 /etc/rsync.pass
配置sersync,配置文件就是上第二步復制的confxml.xml這個文中，路徑在/usr/local/sersync/conf中
<?xml version="1.0" encoding="ISO-8859-1"?><head version="2.5">
# 設置本地IP和端口
<host hostip="localhost" port="8008"></host>
# 開啟DUBUG模式
<debug start="false"/>
# 開啟xfs文件系統
<fileSystem xfs="false"/>
# 同步時忽略推送的文件(正則表達式),默認關閉
<filter start="false">
<exclude expression="(.*)\.svn"></exclude>
<exclude expression="(.*)\.gz"></exclude>
<exclude expression="^info/*"></exclude>
<exclude expression="^static/*"></exclude>
</filter>
<inotify>
# 設置要監控的事件
<delete start="true"/>##這個最好還是給改成false吧，不然的話，他會刪除遠程服務器上比自己多的文件，但是你要是想兩邊保持實時同步的話就要開啟了
<createFolder start="true"/>
<createFile start="true"/>
<closeWrite start="true"/>
<moveFrom start="true"/>
<moveTo start="true"/>
<attrib start="true"/>
<modify start="true"/>
</inotify>
<sersync>
# 本地同步的目錄路徑
<localpath watch="/usr/local/nginx/logs">
# 遠程IP和rsync模塊名
<remote ip="192.168.220.98" name="web_log"/>
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
<rsync>
# rsync指令參數
<commonParams params="-auvzP"/>
# rsync同步認證
<auth start="true" users="backuser" passwordfile="/etc/rsync.pass"/>
# 設置rsync遠程服務端口，遠程非默認端口則需打開自定義,這里可以給他改掉，都不要用默認的，在遠程服務器的rsyncd.conf里面進行修改，添加port=34875，自己定義
<userDefinedPort start="false" port="873"/><!-- port=874 -->
# 設置超時時間
<timeout start="true" time="100"/><!-- timeout=100 -->
# 設置rsync+ssh加密傳輸模式,默認關閉，開啟需設置SSH加密證書
<ssh start="false"/>
</rsync>
# sersync傳輸失敗日志腳本路徑，每隔60會重新執行該腳本，執行完畢會自動清空。
<failLog path="/usr/local/sersync/log/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
# 設置rsync+crontab定時傳輸，默認關閉
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
# 設置sersync傳輸后調用name指定的插件腳本，默認關閉
<plugin start="false" name="command"/>
</sersync>
# 插件腳本范例
<plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
<filter start="false">
<include expression="(.*)\.php"/>
<include expression="(.*)\.sh"/>
</filter>
</plugin>
# 插件腳本范例
<plugin name="socket">
<localpath watch="/opt/tongbu">
<deshost ip="192.168.138.20" port="8009"/>
</localpath>
</plugin>
<plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
<cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxx"/>
<sendurl base="http://pic.xoyo.com/cms"/>
<regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>
</head>
然后就是設置環境變量了
# echo "export PATH=$PATH:/usr/local/sersync/bin/" >> /etc/profile
# source /etc/profile
?
現在就是啟動sersync
sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml
這里也僅僅配置了一個模塊的sersync的自動同步。sersync的多實例和nginx，Apache類似，需要多個不同的配置文件，來做相應的修改就可以了,例如
#因為我有3個模塊所以需要3份配置文件。一一做相應的修改就可以 cp /usr/local/sersync/conf/confxml.xml /usr/local/sersync/conf/www_conxml.xml cp /usr/local/sersync/conf/confxml.xml /usr/local/sersync/conf/bbs_conxml.xml cp /usr/local/sersync/conf/confxml.xml /usr/local/sersync/conf/blog_conxml.xml?啟動多實例sersync的命令
#直接終端運行，配置文件就可以 /usr/local/sersync/bin/sersync -r -d -o /usr/local/sersync/conf/www_conxml.xml /usr/local/sersync/bin/sersync -r -d -o /usr/local/sersync/conf/bbs_conxml.xml /usr/local/sersync/bin/sersync -r -d -o /usr/local/sersync/conf/blog_conxml.xml #會顯示類似的結果，只要沒有error一切都OK?
#重啟操作如下：
# killall sersync2 && sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml
?
設置其開機啟動
# echo "sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml" >> /etc/rc.local
?
摘自：
http://www.fzb.me/2015-6-15-rsync-sersync-install-and-configuration.html
http://blog.csdn.net/orangleliu/article/details/46699147
https://www.centos.bz/2012/01/real-time-rsync-file-with-sersync/
注：當我們的接收端把文件刪除之后，是不會對傳送端有什么影響的！
?還有要注意的就是，在我們使用過程當中，sersync腳本會自動關掉，因此需寫一個腳本去檢測該進程是不是存在，不存在就啟動
腳本內容為：
#!/usr/bin/bash
sersync="/usr/local/sersync/bin/sersync2"
conf_file="/usr/loca/sersync/conf/confxml.xml"
status=$(ps -aux | grep 'sersync2' | grep -v 'grep' | wc -l)
if [ $status -eq 0]:
then
??????? $sersync -d -r -o $conf_file &
else
??????? exit 0;
fi
然后再弄一個計劃任務，每隔五分鐘就執行一下這個腳本
文章參考：
??????????????????http://blog.chinaunix.net/uid-20639775-id-3011124.html???????????
http://www.cnblogs.com/wjoyxt/p/4581410.html????????
https://www.cnhzz.com/rsync_sersync/? 這篇文章介紹的比較詳細? （企業級案例：通過 rsync sersync 實現高效的數據實時同步架構） ???????????????????????????????????????????????????????????????????????????????????????
總結
以上是生活随笔為你收集整理的sersync + rsync 实现文件的实时同步的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 细说SSO单点登录（转）
- 下一篇： vim/vi的使用（Ubuntu12.0