Chifeng's Blog » rsync http://blog.chifeng.name Wed, 08 Sep 2010 08:32:56 +0000 en hourly 1 http://wordpress.org/?v=3.2.1 加快rsync同步速度 http://blog.chifeng.name/2010/08/%e5%8a%a0%e5%bf%abrsync%e5%90%8c%e6%ad%a5%e9%80%9f%e5%ba%a6/ http://blog.chifeng.name/2010/08/%e5%8a%a0%e5%bf%abrsync%e5%90%8c%e6%ad%a5%e9%80%9f%e5%ba%a6/#comments Thu, 05 Aug 2010 14:27:11 +0000 chifeng http://blog.chifeng.name/?p=394 今晚在做一个同步的时候，发觉起一个rsync进程同步，速度很慢，主要时间花费在遍历目录，在遍历目录之后，文件一个一个的传送也不快。因此想到试着起多个进程同步，脚本如下：
#cat r.sh
#!/bin/sh
while read LINE
do
echo $LINE
/usr/bin/rsync -laztvr –progress –timeout=600 –delete rsync-server::test/$LINE /data/test/ > /var/log/rsync/test_$LINE.log &
done < $1
有了这个脚本，然后再把rsync共享出来的模块下的目录都存入一个文件，比如：test，test文件里一行一个目录。
#./r.sh test
这样如果这个模块下有多个目录，比如100个目录，那么速度就会提高不少。当然不要忘记在rsyncd.conf里面最大连接数参数设置为大于等于该目录数。  max connections = 100

今晚在做一个同步的时候，发觉起一个rsync进程同步，速度很慢，主要时间花费在遍历目录，在遍历目录之后，文件一个一个的传送也不快。因此想到试着起多个进程同步，脚本如下：
#cat r.sh#!/bin/shwhile read LINEdoecho $LINE/usr/bin/rsync -laztvr –progress –timeout=600 –delete rsync-server::test/$LINE /data/test/ > /var/log/rsync/test_$LINE.log &done < $1有了这个脚本，然后再把rsync共享出来的模块下的目录都存入一个文件，比如：test，test文件里一行一个目录。
#./r.sh test
这样如果这个模块下有多个目录，比如100个目录，那么速度就会提高不少。当然不要忘记在rsyncd.conf里面最大连接数参数设置为大于等于该目录数。  max connections = 100

]]> http://blog.chifeng.name/2010/08/%e5%8a%a0%e5%bf%abrsync%e5%90%8c%e6%ad%a5%e9%80%9f%e5%ba%a6/feed/ 2 大量小文件同步时碰到的问题 http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/ http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/#comments Sat, 10 Jan 2009 01:33:12 +0000 chifeng http://blog.chifeng.name/?p=285 在对大量小文件在两台机器之间同步的时候，碰到的一些问题，并且一直没找到最理想的办法。

0，SCP
不敢用，因为存在循环链接的bug，会直到循环着把分区塞满为止，官方也有人报，但是一直没fix，况且还没法进行增量同步。

1，nfs&cp,tar
通过nfs挂过来，然后cp或tar，如果是一次性拷贝时，比较合适，但是如果量大想提前复制一份过来，之后就没法进行增量同步了。

2，rsync
比较常用这个，但是也有问题。
a）rsync在3.0之前的版本都要先接收文件列表，这个过程很慢，如果再出点啥意外，不好意思，请从头再来。不过在3.0之后的版本，改进了这个情况，只接收增量文件列表了。
b）在对长目录名进行同步的时候，会报IO错误并退出，当我启动同步进程之后，去睡觉了，本来以为第二天就完了，结果同步了几个G的数据后，碰到了超长目录名，真是一个郁闷啊！所作的只能是先把这个超长目录删除了，然后再次启动同步！
c）当使用单进程来同步的话，速度很慢，所以必须启动多进程来拷贝，效率成倍提高。看看我的进程数，网卡、IO都快吃满了，很爽！
root@:/var/log/rsync# ps -ef |grep rsync  |wc
66     913    8577

不知道各位老大都是如何解决这个问题的？谁有更好的办法，告知一下啊！

]]> http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/feed/ 12 使用FreeBSD6.3 RC1的问题 http://blog.chifeng.name/2007/12/%e4%bd%bf%e7%94%a8freebsd63-rc1%e7%9a%84%e9%97%ae%e9%a2%98/ http://blog.chifeng.name/2007/12/%e4%bd%bf%e7%94%a8freebsd63-rc1%e7%9a%84%e9%97%ae%e9%a2%98/#comments Fri, 07 Dec 2007 02:35:51 +0000 chifeng http://b.chifeng.name/?p=212 FreeBSD 6.3 RC1

在使用6.3 rc1的过程中，rsync往其中一块硬盘上同步数据，在同步了一些数据之后，硬盘灯狂闪，停止响应，操作系统踢出这块硬盘（类似人间蒸发了）。对2块300G的SAS硬盘做测试，都是这德性。共测试3次，全部同一效果，不知道是硬件的问题，还是OS的驱动的问题。

之前还是这台机器，跑7.0beta3测试，没有任何问题，ZFS测试也没有出现过掉盘现象。不过没时间折腾了，先装了个RHEL5.1再试试，如果能顶过去，周末用完再继续折腾。:-)

]]> http://blog.chifeng.name/2007/12/%e4%bd%bf%e7%94%a8freebsd63-rc1%e7%9a%84%e9%97%ae%e9%a2%98/feed/ 0