Comments on: 大量小文件同步时碰到的问题 http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/ Sat, 01 Jan 2011 03:07:50 +0000 hourly 1 http://wordpress.org/?v=3.2.1 By: y109 http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/comment-page-1/#comment-1734 y109 Thu, 17 Sep 2009 15:42:25 +0000 http://blog.chifeng.name/?p=285#comment-1734 邮件不多20多G，我用ssh方式的rsync 效果还行，加上飞信通知，把时间设置在7：30，每天定时发短信，还能当闹钟，呵呵！ 邮件不多20多G，我用ssh方式的rsync 效果还行，加上飞信通知，把时间设置在7：30，每天定时发短信，还能当闹钟，呵呵！

]]> By: yehaozi http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/comment-page-1/#comment-927 yehaozi Thu, 26 Mar 2009 03:09:40 +0000 http://blog.chifeng.name/?p=285#comment-927 b）在对长目录名进行同步的时候，会报IO错误并退出 这个我在LINUX上面测试到了最长的目录名了,都没有报错,是否是RSYNC的BUG? b）在对长目录名进行同步的时候，会报IO错误并退出

这个我在LINUX上面测试到了最长的目录名了,都没有报错,是否是RSYNC的BUG?

]]> By: chifeng http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/comment-page-1/#comment-695 chifeng Mon, 12 Jan 2009 05:38:13 +0000 http://blog.chifeng.name/?p=285#comment-695 已经添加，多多交流！！:) 已经添加，多多交流！！:)

]]> By: kissingwolf http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/comment-page-1/#comment-694 kissingwolf Mon, 12 Jan 2009 04:29:50 +0000 http://blog.chifeng.name/?p=285#comment-694 如果是内网就不用ssh方式了，主要是安全性考虑！ 加我gmail做Gtalk,多多交流！ 如果是内网就不用ssh方式了，主要是安全性考虑！
加我gmail做Gtalk,多多交流！

]]> By: chifeng http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/comment-page-1/#comment-693 chifeng Mon, 12 Jan 2009 03:08:05 +0000 http://blog.chifeng.name/?p=285#comment-693 再说一句，非常感谢指导！！！:) 再说一句，非常感谢指导！！！:)

]]> By: chifeng http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/comment-page-1/#comment-692 chifeng Mon, 12 Jan 2009 03:07:46 +0000 http://blog.chifeng.name/?p=285#comment-692 恩，用find+tar的方式已经完全明白了。 另外，用ssh方式的rsync有什么好处吗？？我是内网，对数据的安全性要求不高。 恩，用find+tar的方式已经完全明白了。

另外，用ssh方式的rsync有什么好处吗？？我是内网，对数据的安全性要求不高。

]]> By: kissingwolf http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/comment-page-1/#comment-690 kissingwolf Sun, 11 Jan 2009 13:35:03 +0000 http://blog.chifeng.name/?p=285#comment-690 while read file_path do if grep "\" $FULL_LIST >/dev/null ; then continue else echo "$file_path" >> $D_LIST fi done < $A_LIST 大致就是这样产生D.list while read file_path
do
if grep “\” $FULL_LIST >/dev/null ; then
continue
else
echo “$file_path” >> $D_LIST
fi
done < $A_LIST
大致就是这样产生D.list

]]> By: kissingwolf http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/comment-page-1/#comment-689 kissingwolf Sun, 11 Jan 2009 13:31:29 +0000 http://blog.chifeng.name/?p=285#comment-689 另外建议使用ssh方式的rsync! 另外建议使用ssh方式的rsync!

]]> By: kissingwolf http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/comment-page-1/#comment-688 kissingwolf Sun, 11 Jan 2009 13:29:58 +0000 http://blog.chifeng.name/?p=285#comment-688 4.得到删除的问题列表（D.list) 5.mv A.list full.list 以备下次增量备份生成D.list使用 6.将D.list复制到备份端，将D.list中的文件删除 4.得到删除的问题列表（D.list)
5.mv A.list full.list 以备下次增量备份生成D.list使用
6.将D.list复制到备份端，将D.list中的文件删除

]]> By: kissingwolf http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/comment-page-1/#comment-687 kissingwolf Sun, 11 Jan 2009 13:25:31 +0000 http://blog.chifeng.name/?p=285#comment-687 增量备份的时候一般不考虑删除问题，如果你需要备份端与原端保持一致，可以采取生成删除文件列表并在备份端删除的方式。 具体的做法如下 1.在完全备份时后产生完全文件列表（full.list) 2.每次增量备份前生成增量点完全文件列表（A.list) 3.比较完全文件列表和增量点完全文件列表 增量备份的时候一般不考虑删除问题，如果你需要备份端与原端保持一致，可以采取生成删除文件列表并在备份端删除的方式。
具体的做法如下
1.在完全备份时后产生完全文件列表（full.list)
2.每次增量备份前生成增量点完全文件列表（A.list)
3.比较完全文件列表和增量点完全文件列表

]]>