九爷带你部署Mfs分布式文件系统

Mfs分布式文件系统

前言：前面我们学习过NFS，以及虚拟化课程的时候我们学习过openfiler，这两个都是属于存储服务器。但是他们有着共同的缺点，就是性能不好，因为都是通过共享方式共享一个存储空间，使得服务器不堪重负，会出现超时的问题，而且存在着单点故障问题，尽管可以用rsync同步数据到另外一台服务器上做备份，但性能方便没有任何提升。而分布式文件系统把数据分散存储在不同的服务器上，读取数据的时候相当于同时读取，不像nfs是一对多的关系，而是多对多的关系，这样可以使得性能得到大幅提升。

今天我们学习使用MFS搭建分布式文件系统，MFS具有容错功能，高可用，可扩展的功能。MFS把数据分散在多台服务器上，但用户看到的只是一个源。

客户端向元数据服务器发出读请求

元数据服务器把所需数据存放的位置（Chunk Server的IP地址和Chunk编号）告知客户端

客户端向已知的Chunk Server请求发送数据

Chunk Server向客户端发送数据

3）写入的过程

客户端向元数据服务器发送写入请求

元数据服务器与Chunk Server进行交互，但元数据服务器只在某些服务器创建新的分块Chunks，创建成功后由Chunk Servers告知元数据服务器操作成功

元数据服务器告知客户端，可以在哪个Chunk Server的哪些Chunks写入数据

客户端向指定的Chunk Server写入数据

该Chunk Server与其他Chunk Server进行数据同步，同步成功后Chunk Server告知客户端数据写入成功

客户端告知元数据服务器本次写入完毕

实验环境

实验拓扑

虚拟机环境

实验步骤

搭建master server

停止防火墙并且安装支持包

创建用户

安装源码包

[root@centos3~]# tar zxf mfs-1.6.27-5.tar.gz

[root@centos3~]# cd mfs-1.6.27

[root@centos3mfs-1.6.27]# ./configure\

>--prefix=/usr/local/mfs\//指定安装目录

>--with-default-user=mfs\//指定程序运行用户

>--with-default-group=mfs\//指定程序运行组

>--disable-mfschunkserver\//禁用Chunk功能

>--disable-mfsmount\//禁用mfsmount功能

[root@centos3mfs-1.6.27]# make && make install//编译安装

4）复制文件（设置配置文件）

[root@centos3mfs-1.6.27]# cd /usr/local/mfs/etc/mfs/

[root@centos3mfs]# ls

mfsexports.cfg.distmfsmetalogger.cfg.dist

mfsmaster.cfg.distmfstopology.cfg.dist

[root@centos3mfs]# cp mfsexports.cfg.dist mfsexports.cfg

[root@centos3mfs]# cp mfsmaster.cfg.dist mfsmaster.cfg

[root@centos3mfs]# cp mfstopology.cfg.dist mfstopology.cfg

[root@centos3mfs]# cd /usr/local/mfs/var/mfs/

[root@centos3mfs]# ls

metadata.mfs.empty

[root@centos1 mfs]# cp metadata.mfs.empty metadata.mfs

这个文件存放master的变化信息

配置文件（下面的只是介绍一下，不用修改，默认就好）

需要用到两个配置文件：mfsmaster.cfg（主配置文件）和mfsexport.cfg（被挂载目录及访问权限）

mfsmaster.cfg常用的参数如下，默认全部都是不需要修改的，全文都是以#开头，也就是说都是默认配置

[root@centos1 mfs]# cd /usr/local/mfs/etc/mfs/

[root@centos1 mfs]# vim mfsmaster.cfg

WORKING_USER = mfs//运行masterserver的用户

# WORKING_GROUP = mfs//运行masterserver的组

# SYSLOG_IDENT = mfsmaster//masterserver在syslog的标示，说明是由masterserver产生的

# LOCK_MEMORY = 0//是否执行mlokall()，以避免mfsmaster进程溢出默认为0

# NICE_LEVEL = -19//运行的优先级，进程必须由root启动

# EXPORTS_FILENAME = /usr/local/mfs/etc/mfs/mfsexports.cfg

//被挂载目录及其权限控制文件的存放位置

# TOPOLOGY_FILENAME = /usr/local/mfs/etc/mfs/mfstopology.cfg

# DATA_PATH = /usr/local/mfs/var/mfs//数据存放路径

# BACK_LOGS = 50//metadata改变的log文件数目（默认是50）

# BACK_META_KEEP_PREVIOUS = 1

# REPLICATIONS_DELAY_INIT = 300 //延迟复制的时间（默认300）

# REPLICATIONS_DELAY_DISCONNECT = 3600 //Chunkserver断开复制延迟（默认是3600秒）

# MATOML_LISTEN_HOST = *//metalogger监听的IP地址默认是所有地址

# MATOML_LISTEN_PORT = 9419//metalogger监听的端口地址（默认为9419）

# MATOML_LOG_PRESERVE_SECONDS = 600

# MATOCL_LISTEN_HOST = *//用于chunkserver连接的IP地址（默认为*代表所有IP）

# MATOCL_LISTEN_PORT = 9421//用户客户端挂在的监听端口9421

# CHUNKS_LOOP_MAX_CPS = 100000

# CHUNKS_LOOP_MIN_TIME = 300//chunks的回环频率（默认300）

# CHUNKS_SOFT_DEL_LIMIT = 10

# CHUNKS_HARD_DEL_LIMIT = 25

# CHUNKS_WRITE_REP_LIMIT = 2//在一个循环里复制到另外一个Chunkserver的最大Chunk数

# CHUNKS_READ_REP_LIMIT = 10//在一个循环里从一个Chunkserver复制的的最大Chunk数

# ACCEPTABLE_DIFFERENCE = 0.1

# SESSION_SUSTAIN_TIME = 86400

# REJECT_OLD_CLIENTS = 0//弹出低于1.6.0的客户端挂接（0或1，默认是0）

# deprecated:

# CHUNKS_DEL_LIMIT - use CHUNKS_SOFT_DEL_LIMIT instead

# LOCK_FILE - lock system has been changed, and this option is used onl

y to search for old lockfile

mfsexport.cfg文件参数格式如下

# Allow everything but "meta".

* / rw,alldirs,maproot=0

# Allow "meta".

* . rw

该文件，每一个条目分为三个部分

第一部分：客户端IP地址

第二部分：被挂载的目录

第三部分：客户端拥有的权限

地址可以指定几种表现形式

*代表所有的IP地址

n.n.n.n单个ip地址

n.n.n.n/bIP网络地址/位数掩码

n.n.n.n/m.m.m.m IP网络地址/子网掩码

f.f.f.f-t.t.t.t IP段

目录部分的标示如下

/标示MFS根

.表示MFSMETA文件系统

权限部分如下所示

ro——只读模式共享

rw——读写模式共享

alldirs——允许挂载任何指定的子目录

maproot——映射为root，还是普通用户

password——指定客户端的密码

以上就是对mfsmaster.cfg和mfsexport文件的解释，默认就是最好的，不需要做任任何修改。

启动master server

第一遍启动的时候，可能会出现以下错误信息

[root@centos1 mfs]# /usr/local/mfs/sbin/mfsmaster start

loading sessions ... file not found

如果出现以上信息，则关闭服务并重新启动就可以了

[root@centos1 mfs]# /usr/local/mfs/sbin/mfsmaster -s

-s表示停止服务

[root@centos1 mfs]# /usr/local/mfs/sbin/mfsmaster start

再启动就不会出现任何信息

查看是否启动

8）建立防火墙规则

[root@centos1 mfs]# iptables -I INPUT -p tcp --dport 9419 -j ACCEPT

[root@centos1 mfs]# iptables -I INPUT -p tcp --dport 9420 -j ACCEPT

[root@centos1 mfs]# iptables -I INPUT -p tcp --dport 9421 -j ACCEPT

[root@centos1 mfs]# service iptables save

搭建metalogger server

1）安装mfs（同上）

Useradd mfs -s /sbin/nologin

复制文件

3）修改配置文件，添加master服务器的ip地址（注意去掉注释和空格）

开启服务

5）查看端口

[root@centos5mfs]# netstat -anpt | grep 9419

tcp 0 0 192.168.1.2:50929 192.168.1.1:9419 ESTABLISHED 53533/mfsmetalogger

[root@centos5mfs]# iptables -I INPUT -p tcp --dport 9419 -j ACCEPT

[root@centos5mfs]# service iptables save

搭建chunk server（二台chunk的搭建步骤相同）

安装mfs（同上）

复制文件

Cd /usr/local/mfs/etc/mfs

Cp mfschunkserver.cfg.dist mfschunkserver.cfg

Cp mfshdd.cfg.dist mfshdd.cfg

Vi mfschunkserver.cfg

修改配置文件（一共2个）

vim mfschunkserver.cfg

vim mfshdd.cfg（添加/data）

建立文件夹并开启服务

开启例外

[root@centos5mfs]# ps -ef | grep mfs

mfs 56269 1 0 20:54 ? 00:00:00 /usr/local/mfs/sbin/mfschunkserver start

root 56297 48740 0 20:54 pts/0 00:00:00 grep mfs

[root@centos5mfs]# iptables -I INPUT -p tcp --dport 9422 -j ACCEPT

[root@centos5mfs]# service iptables save

注意：第二台chunk的配置和上面的配置完全一样，这里就不在说明了

客户端配置

安装fuseMFS（客户端依赖于FUSE）

设置环境变量

添加下面这行

exportPKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

安装MFS客户端

挂载文件系统

查看挂载情况

设置文件被复制的份数并测试

MFS客户端安装完毕后，会生成/usr/local/mfs/bin/目录，在这个目录下有很多命令是用户所需的。

mfsgetgoal命令用来查看文件被复制的分数，利用-r命令可以对整个目录进行递归，goal是指文件比复制的分数。

[root@centos6 mfs-1.6.27]# mfsgetgoal -r /mnt/mfs/

/mnt/mfs/:

directories with goal 1 : 1

由于还没有设置，默认为1份

命令mfssetgoal用来设置文件被复制的分数，生产环境下Chunk server节点数量应大于2，文件副本数小于Chunk server服务器的数量。由于我有二台Chunk server我将副本数量设置为1

在vim /etc/profile文件中增加一行（为了方便执行命令）

设置查询文件被复制的份数：

在/mnt/mfs中建立文件

分别打开两台chunk查看/data下，都产生了加密的数据，说明成功了

5、mfs监控

mfscgiserv是用python编写的一个web服务器，其监听端口是9425，可以再masster server上通过/usr/local/mfs/sbin/mfscgiserv来启动，用户利用浏览器就可以完全监控所有客户挂接、Chunk server、Master server等。

在一台客户端上通过浏览器访问http://192.168.1.1:9425

[root@centos3mfs]# /usr/local/mfs/sbin/mfscgiserv

lockfile created and locked

starting simple cgi server (host: any , port: 9425 , rootpath: /usr/local/mfs/share/mfscgi)

[root@centos3mfs]# iptables -I INPUT -p tcp --dport 9425 -j ACCEPT

灾难恢复

MFS维护及灾难恢复

1）MFS集群的启动与停止

MFS集群的启动顺序如下

（1）启动mfsmaster进程

（2）启动所有的mfsChunkserver进程

（3）启动mfsmetalogger进程

（4）在所有客户端上挂载NFS文件系统

MFS集群的停止顺序如下

（1）在所有客户端卸载MFS挂载

（2）停止Chunkserver进程

（3）停止mfsmetalogger进程

（4）停止mfsmaster进程

2）MFS灾难恢复

整个MFS体系中，直接断电只有master server进程有可能无法启动，可以在master上使用命令/usr/local/mfs/sbin/mfsmetarestore -a修复

我们将master server直接断电（必须运行的时间够20分钟才可以断电，否则数据很有可能直接丢失）

[root@centos1 ~]# /usr/local/mfs/sbin/mfsmaster start

init: file system manager failed !!!

error occured during initialization - exiting

[root@centos1 ~]# /usr/local/mfs/sbin/mfsmetarestore -a

loading objects (files,directories,etc.) ... ok

loading names ... ok

loading deletion timestamps ... ok

loading chunks data ... ok

checking filesystem consistency ... ok

connecting files and chunks ... ok

progress: current change: 0 (first:0 - last:0 - 100% - ETA:finished)

store metadata into file: /usr/local/mfs/var/mfs/metadata.mfs

[root@centos1 ~]# /usr/local/mfs/sbin/mfsmaster start

从MetaLogger中恢复

MFS元数据通常有两部分的数据，分别如下

（1）主要元数据文件metadata.mfs，当mfsmaster运行时会被命名为metadata.back.mfs。

（2）元数据改变日志changelog.*.mfs，存储了过去N小时的文件变更。

在Master发生故障时，可以从MetaLogger中恢复，步骤如下

（1）安装一台mfsmaster，利用同样的配置来配置这台mfsmaster，mfsmaster进程先不要启动

（2）将metalogger上/usr/local/mfs/var/mfs/目录下所有文件复制到mfsmaster相应的目录中。

[root@centos3 mfs]# scp root@192.168.1.101:/usr/local/mfs/var/mfs/* /usr/local/mfs/var/mfs/

[root@centos3 mfs]# /usr/local/mfs/sbin/mfsmetarestore -m metadata_ml.mfs.back -o metadata.mfs changelog_ml.*.mfs

loading objects (files,directories,etc.) ... ok

loading names ... ok

loading deletion timestamps ... ok

loading chunks data ... ok

checking filesystem consistency ... ok

connecting files and chunks ... ok

changelog_ml.0.mfs:1: version mismatch

[root@centos3 mfs]# /usr/local/mfs/sbin/mfsmaster start

[root@centos3 mfs]# ls

Ceshi

注意:如果是全新安装的master，恢复数据后，需要更改metalogger和chunkserver，配置MASTER_HOST的ip地址，客户端也需要重新挂载mfs目录。

本文出自 “李世龙” 博客，谢绝转载！

最后编辑于：2017.12.11 04:32:54

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 202,905评论 5赞 476
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,140评论 2赞 379
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 149,791评论 0赞 335
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,483评论 1赞 273
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,476评论 5赞 364
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,516评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,905评论 3赞 395
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,560评论 0赞 256
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,778评论 1赞 296
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,557评论 2赞 319
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,635评论 1赞 329
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,338评论 4赞 318
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,925评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,898评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,142评论 1赞 259
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 42,818评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,347评论 2赞 342

九爷带你部署Mfs分布式文件系统

推荐阅读更多精彩内容