MFS安裝配置

部署環境：CentOS 6.1
mfs版本：mfs-1.6.17.tar.gz
官網地址：www.moosefs.org
官網最新版本為v1.6.26
 
說明：實驗過程元數據服務器和元日志服務器在一台機器即Master管理服務器上，在生產環境中建議元數據服務器和元日志服務器分開，這樣安全性相對會高
 
IP部署
----------------------------------------------------------------------------------------------------------------------
Master(管理服務器):192.168.100.1
                                   ---chunkserver1 192.168.100.10
chunkservers(數據存儲服務器)|
                                ---chunkserver2 192.168.100.11
             ---client1 192.168.100.20
client客戶機|
             ---client2 192.168.100.21
----------------------------------------------------------------------------------------------------------------------
 
Master相關配置
軟件安裝
#./configure  --disable-mfschunkserver--disable-mfsmount --with-default-user=daemon --with-default-group=daemon
#make && make install
 
# cp /usr/local/etc/mfsmaster.cfg.dist/usr/local/etc/mfsmaster.cfg
//模板默認生效,該文件不需要修改
#cp /usr/local/etc/mfsexports.cfg.dist/usr/local/etc/mfsexports.cfg
#vim  /usr/local/etc/mfsexports.cfg
# cat  /usr/local/etc/mfsexports.cfg
192.168.100.0/24     / rw,alldirs,maproot=0
192.168.100.0/24     . rw
# cd /usr/local/var/mfs     // /usr/local/var/mfs元數據存放目錄
#cp metadata.mfs.empty  metadata.mfs
//啟用元數據配置文件
#/usr/local/sbin/mfsmaster  start || stop
//開啟||關閉服務
 
#usr/local/sbin/mfscgiserv start
//開啟web監控,mfscgiserv是使用python開發的web服務器，http://Master_IP:9425即可訪問
 
trunkServer相關配置
#./configure --disable-mfsmaster--disable-mfsmount --disable-mfscgi --disable-mfscgiserv --with-default-user=daemon--with-default-group=daemon
#make && make install
 
#cp/usr/local/etc/mfschunkserver.cfg.dist /usr/local/etc/mfschunkserver.cfg
#vim /usr/local/etc/mfschunkserver.cfg
#cat /usr/local/etc/mfschunkserver.cfg
WORKING_USER = daemon
WORKING_GROUP = daemon
SYSLOG_IDENT = mfschunkserver
LOCK_MEMORY = 0
NICE_LEVEL = -19
DATA_PATH = /usr/local/var/mfs
MASTER_RECONNECTION_DELAY = 5
BIND_HOST = *
MASTER_HOST = 192.168.100.1
MASTER_PORT = 9420
MASTER_TIMEOUT = 60
HDD_CONF_FILENAME = /usr/local/etc/mfshdd.cfg
HDD_TEST_FREQ = 10
LOCK_FILE = /var/run/mfs/mfschunkserver.lock
BACK_LOGS = 50
◆    MASTER_HOST = 192.168.100.1 元數據服務器的名稱或地址，可以是主機名，也可以是ip地址，只要數據存儲服務器能訪問到元數據服務器就行。
◆    LOCK_FILE = /var/run/mfs/mfschunkserver.pid 與元數據服務器master的處理完全相同.
◆    CSSERV_LISTEN_PORT = 9422 CSSERV—chunkserver,這個監聽端口用於與其它數據存儲服務器間的連接，通常是數據復制。
◆    HDD_CONF_FILENAME = /usr/local/mfs/etc/mfshdd.cfg 分配給MFS使用的磁盤空間配置文件的位置。
 
#cp /usr/local/etc/mfshdd.cfg.dist/usr/local/ect/mfshdd.cfg
#vim /usr/local/ect/mfshdd.cfg
#cat /usr/local/ect/mfshdd.cfg
/mfs    #掛載點
#mkdir /mfs
#mount /dev/sdb1 /mfs
//這裡使用的是獨立的磁盤，已經格式化ext4，分區格式化這裡不作介紹
//注意：CHUNKSERVER共享出去的磁盤需要大於1G以上，否則會提示空間不足，另外CHUNKSERVER也會占用幾百M的空間
#chown daemon:daemon /mfs -R
//必須修改權限，否則服務啟動不了
#/usr/local/sbin/mfschunkserver start ||stop
//可以查看messages日志獲得啟動和連接信息
 
client相關配置
#yum install fuse*　-y     //client通過fuse模塊連接Master
#./configure --disable-mfsmaster--disable-mfschunkserver --disable-mfscgi --disable-mfscgiserv --with-default-user=daemon--with-default-group=daemon
#make && make install
 
#mkdir /mnt/{data,metadata}
#mfsmount -H 192.168.100.1 /mnt/data
#mfsmount -m  -H 10.1.1.10 metadata
 
# /usr/local/bin/mfsdirinfo /mnt/data/                  //查看chunk信息
/mnt/data/:
Linux/1672.html' target='_blank'>inodes:                         2
directories:                      1
files:                           1
chunks:                         23
length:                    1522139136
size:                      1522256896
realsize:                   1522256896
#/usr/local/bin/mfsgetgoal -h /mnt/data/                       //獲取文件備份信息
/mnt/data/:1                                                                //1表示沒有備份，只有一個文件
# /usr/local/bin/mfssetgoal -r 2 /mnt/data/                   //等段時間之後生效，這樣修改之後，文件就實現冗余功能了
# /usr/local/bin/mfsfileinfo  文件名                       //可以查看該文件的個數
另外對於客戶端需要說明的是類似iscsi或者NFS這些，2個客戶端同時掛載使的時，client1寫入數據，client2是讀不到數據的，而MFS實現client1和client2同步，在client1上寫入文件，client2即可獲取，實現同時讀寫
（一）本地測試
1、停止元數據服務 /usr/local/mfs/sbin/mfsmaster
2、備份元數據服務器數據 cd /usr/local/mfs/var; tar czvfmfs.tgz mfs
3、刪除目錄 mv mfs mfs.bk 或 rm –rf mfs
4、啟動元數據服務 ../sbin/mfsmaster start 啟動失敗，提示不能初始化數據。
5、解包 tar zxvf mfs.tgz
6、執行恢復操作 .. /sbin/mfsmetarestore –a
7、啟動元數據服務 ../sbin/mfsmaster start
8、在MFS客戶端檢查MFS存儲的數據是否跟恢復前一致？能否正常訪問等等。
 
（二）   遷移測試
1、  安裝新的MFS元數據服務器。
2、  從當前的元數據服器（master）或日志備份服務器(mfsmetalogger)復制備文件 metadata.mfs.back/metadate_ml.mfs.back到新的元服務器目錄(metadata.mfs.back需要定時用crontab備份).
3、  從當前的元數據服器（master）或日志備份服務器(mfsmetalogger)復制元數據服務器數據目錄（/usr/local/mfs/var/mfs）到這個新的元數據服務器。
4、  停止原先的那個元數據服務器（關閉計算機或停止它的網絡服務）。
5、  更改新的元數據服務器的ip為原來那個服務器的ip.
6、  執行數據恢復操作，其命令為：mfsmetarestore -mmetadata.mfs.back -o metadata.mfs changelog_ml.*.mfs 恢復成功後再執行啟動新的元數據服務操作。
7、  啟動新的元數據服務 /usr/local/mfs/sbin/mfsmasterstart
8、  在MFS客戶端檢查MFS存儲的數據是否跟恢復前一致？能否正常訪問等等。