Chifeng's Blog » nfs http://blog.chifeng.name Fri, 13 Aug 2010 07:27:07 +0000 en hourly 1 http://wordpress.org/?v=3.0 mfs和nfs的测试 http://blog.chifeng.name/2010/03/mfs%e5%92%8cnfs%e7%9a%84%e6%b5%8b%e8%af%95/ http://blog.chifeng.name/2010/03/mfs%e5%92%8cnfs%e7%9a%84%e6%b5%8b%e8%af%95/#comments Fri, 12 Mar 2010 11:27:47 +0000 chifeng http://blog.chifeng.name/?p=363 在一个mfs的client上，可以通过nfs的方式把mfs的目录share出来，在网上查了半天，貌似没人做过这样的测试，偶就试了一下。如果这样的话，那就肯定也可以通过samba共享出来。

# mount -t nfs 172.20.34.135:/mnt/mfs /tmp/mfs

172.20.34.135:/mnt/mfs                      108G     0  108G   0% /tmp/mfs

]]> http://blog.chifeng.name/2010/03/mfs%e5%92%8cnfs%e7%9a%84%e6%b5%8b%e8%af%95/feed/ 0 大量小文件同步时碰到的问题 http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/ http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/#comments Sat, 10 Jan 2009 01:33:12 +0000 chifeng http://blog.chifeng.name/?p=285 在对大量小文件在两台机器之间同步的时候，碰到的一些问题，并且一直没找到最理想的办法。

0，SCP
不敢用，因为存在循环链接的bug，会直到循环着把分区塞满为止，官方也有人报，但是一直没fix，况且还没法进行增量同步。

1，nfs&cp,tar
通过nfs挂过来，然后cp或tar，如果是一次性拷贝时，比较合适，但是如果量大想提前复制一份过来，之后就没法进行增量同步了。

2，rsync
比较常用这个，但是也有问题。
a）rsync在3.0之前的版本都要先接收文件列表，这个过程很慢，如果再出点啥意外，不好意思，请从头再来。不过在3.0之后的版本，改进了这个情况，只接收增量文件列表了。
b）在对长目录名进行同步的时候，会报IO错误并退出，当我启动同步进程之后，去睡觉了，本来以为第二天就完了，结果同步了几个G的数据后，碰到了超长目录名，真是一个郁闷啊！所作的只能是先把这个超长目录删除了，然后再次启动同步！
c）当使用单进程来同步的话，速度很慢，所以必须启动多进程来拷贝，效率成倍提高。看看我的进程数，网卡、IO都快吃满了，很爽！
root@:/var/log/rsync# ps -ef |grep rsync  |wc
66     913    8577

不知道各位老大都是如何解决这个问题的？谁有更好的办法，告知一下啊！

]]> http://blog.chifeng.name/2009/01/%e5%a4%a7%e9%87%8f%e5%b0%8f%e6%96%87%e4%bb%b6%e5%90%8c%e6%ad%a5%e6%97%b6%e7%a2%b0%e5%88%b0%e7%9a%84%e9%97%ae%e9%a2%98/feed/ 12