# mount -t nfs 172.20.34.135:/mnt/mfs /tmp/mfs

172.20.34.135:/mnt/mfs                      108G     0  108G   0% /tmp/mfs

fb00# ndb_mgm -e SHOW
Connected to Management Server at: 172.20.6.200:1186
Cluster Configuration
———————
[ndbd(NDB)]    2 node(s)
id=2    @172.20.6.201  (Version: 5.4.3, Nodegroup: 0, Master)
id=3    @172.20.6.202  (Version: 5.4.3, Nodegroup: 0)

[ndb_mgmd(MGM)]    1 node(s)
id=1    @172.20.6.200  (Version: 5.4.3)

[mysqld(API)]    2 node(s)
id=4    @172.20.6.203  (Version: 5.4.3)
id=5    @172.20.6.204  (Version: 5.4.3)

编辑…./lsf/conf/lsf.cluster.clustername文件，在Host部分增加一行，类似如下，直接复制之前的行也可以

Begin   Host
HOSTNAME  model    type        server r1m  mem  swp  RESOURCES    #Keywords
hostname      !       !       1       3.5 ()   ()   ()
End     Host

确认可以以当前用户rsh到该主机，然后启动对应的daemon。

chifeng# lsadmin reconfig
chifeng# lsadmin limstartup hostname
chifeng# lsadmin resstartup hostname
chifeng# badmin hstartup hostname

节点增加完成

终于尝试了一下网格计算中的Leader级产品LSF了，刚刚入门，属于菜鸟级，简单记录一下学习过程。

概念理解：单台计算机的性能始终是有限的，因此，网格计算产品的目的是把一堆普通的PC变成一个超级计算机，而如何使用这些计算机，如何在计算机之间，对作业进行调度、处理、返回结果，便有了网格计算软件的诞生–LSF，LSF实际上是一个作业调度器，他可以在多台计算机之间调度任务，让多台计算机协同工作。

LSF安装环境的准备
建立一个NFS服务器，共享出来一个目录，比如/cluster，并且我们假定该NFS服务器同时做master主机，配置该master主机可以rsh到其他节点上。

LSF安装

得到这个软件包lsf6.2_lsfinstall.tar.Z，存放在/cluster/src目录下，并解压缩。进入该目录。
chifeng#pwd
/cluster/src/lsf6.2_lsfinstall
编辑配置文件install.config，基本上只需要改如下几个参数即可
LSF_TOP：意思是lsf6.2的安装路径，该路径必须是NFS共享出来的目录，假定为/cluster/lsf
LSF_ADMINS：管理员帐号，设置一个超级管理员admin
LSF_CLUSTER_NAME：集群的名字假设为cluster
LSF_TARDIR：安装时需要的tar包
LSF_LICENSE：license目录
ENABLE_HPC_INST：是否启用HPC支持，我们暂时不打开，选择N
LSF_ADD_SERVERS：初始安装增加的服务器，有几个写几个即可
LSF_MASTER_LIST：Master服务器的地址，写本机即可，一般推荐2个，这样也好有个冗余
执行安装命令，根据提示安装即可
./lsfinstall -f install.config

很快就可以安装完成了。:P

从昨天下午到今天都在折腾Mogilefs（当然昨晚顺便看了《杀手47》，通过游戏改编的一个很酷的电影）。我在两台FreeBSD的机器上装了，也测试了一下，基本弄明白了各个组件的作用，以及Mogilefs的运作机制。

安装
安装还是很简单的，我用FreeBSD系统，只安装这三个ports即可
/usr/ports/sysutils/p5-mogilefs-server
/usr/ports/sysutils/p5-MogileFS-Client
/usr/ports/sysutils/p5-MogileFS-Utils
运行时，如果提示你没有找到Gearman::Server.pm，那么再安装这三个ports
/usr/ports/devel/p5-Gearman
/usr/ports/devel/p5-Gearman-Server
/usr/ports/devel/p5-Gearman-Client-Async

配置
重点参考这篇文章http://durrett.net/mogilefs_setup.html，我就不废话了

介绍
首先可以去看官方的wiki：http://mogilefs.pbwiki.com/。（有可能被GFW了，那么你就安装一个Firefox的gladder插件就可以看了）。偶简单记录一下对Mogilefs的理解，Mogilefs分为几部分。
0） 数据库（MySQL）部分
你可以用mogdbsetup程序来初始化数据库。数据库保存了Mogilefs的所有元数据，你可以单独拿数据库服务器来做，也可以跟其他程序跑在一起，数据库部分非常重要，类似邮件系统的认证中心那么重要，如果这儿挂了，那么整个Mogilefs将处于不可用状态。因此最好是HA结构。
1）存储节点
mogstored程序的启动将使本机成为一个存储节点。启动时默认去读/etc/mogilefs/mogstored.conf ，具体配置可以参考配置部分。mogstored启动后，便可以通过mogadm增加这台机器到cluster中。一台机器可以只运行一个mogstored作为存储节点即可，也可以同时运行其他程序。
2）trackers（跟踪器）
mogilefsd即trackers程序，类似mogilefs的wiki上介绍的，trackers做了很多工作，Replication ，Deletion，Query，Reaper，Monitor等等。mogadm,mogtool的所有操作都要跟trackers打交道，Client的一些操作也需要定义好trackers，因此最好同时运行多个trackers来做负载均衡。trackers也可以只运行在一台机器上，也可以跟其他程序运行在一起，只要你配置好他的配置文件即可，默认在/etc/mogilefs/mogilefsd.conf。
3）工具
主要就是mogadm，mogtool这两个工具了，用来在命令行下控制整个mogilefs系统以及查看状态等等。
4）Client
Client实际上是一个Perl的pm，可以写程序调用该pm来使用mogilefs系统，对整个系统进行读写操作。

概念定义
可以参考官方wiki的这儿，简单说一下偶的粗略理解。
domain：最高域，在一个域下key是唯一的。
class：包含在domain中，可以针对每一个class定义保存的份数。
key：对文件的唯一标识。
file：文件。

适用性
由于Mogilefs不支持对一个文件的随机读写，因此注定了只适合做一部分应用。比如图片服务，静态HTML服务。即文件写入后基本上不需要修改的应用，当然你也可以生成一个新的文件覆盖上去。