注：原创文章，转载请注明出处
一、文档说明
Lustre是一种强大的平行分布式文件系统，通常用于HPC行业。主要组建包括：元数据服务器(Metadataservers， MDSs)、对象存储服务器(objectstorage servers， OSSs)和客户端。其中MDSs提供元数据服务，MGS管理服务器提供Lustre文件系统配置信息，OSS对象存储服务器expose块设备提供数据。
目前网上关于lustre的搭建文档比较少，且大多数文档是1.×版本或者是英文的文档，本篇文档基于centos7.4和最新的lustre2.10.1进行搭建整理，希望对大家有帮助
二、环境准备
1. 准备4台虚拟机，内存>=2G，硬盘>=20G，配置主机名和IP地址
centos1 192.168.11.148 （MDT）
centos2 192.168.11.149 （OST）
centos3 192.168.11.150 （OST）
centos4 192.168.11.151 （client）
2. 每台机器都需要关闭selinux和防火墙（如果会配置防火墙，4台都要开启防火墙：988，1021，1022，1023端口）
[root@centos1 ~]# systemctl stop firewalld
[root@centos1 ~]# systemctl disable firewalld
[root@centos1 ~]# sed -i -e "s/enabled/disabled/" /etc/sysconfig/selinux && reboot
3. 配置4台机器免密登录（这里不再赘述，以下是我的配置）
[root@centos1 ~]# cat /etc/hosts
192.168.11.148 centos1
192.168.11.149 centos2
192.168.11.150 centos3
192.168.11.151 centos4
[root@centos1 ~]# cat .ssh/authorized_keys
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCns/OqLy8ISef8eg9MAbLU8ic0zAvmoCYe5vAuiMj2HmtOjpA3zKqxGuoj3Uklrn+4mqmKWBiPq0q6NDwdPJD2c2sV+2Fd3HUIiz7POH+Co13VClBb9hH/v4Y69Qx3tOOuAxakaBfZu0QrBSi2X4xy2fNlECAcUR4M8s4DANNq8Pl2GN1kG2zIA3bQH1bjqZkKNEk0zOvEX5RIeCzIZ7cVPhqZSz6BBo+bJ1+Ct5w8yjzw1uBAqsTHAg4fhyf7uQ54j7qOB4crLA3T9djDNqQHq4tCG2wFN+GO+cTZAb7m1boQZUh+kbyZmeg5eof9zkyB93LYejVySZcjvCHQjI1 root@centos1
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCf4b9FiAoHmj/TEbkiXJDy8VQl5Fi9nDOkll983kcmju35Yk3bB/mYivKJebQVOfmsis98Xa0RCOm8p/ZMzSqCecflV//IRQFt9o8iFNAXfvo2dkonL+lu07d/lDGRnzcGGu5TCR7WZ9l1h1822P1KsAXH9HTzZO/tZ3BIxCCemqXgYerx8b2CPBFIrLE6OutnqJY9lj9TZMsWZ6d2KD7FtKEl1h88lu+wcI4ZnMEkV9JG10CDPQKzZX1hz58YLudxn7yJkIF7Ot41x1yKOFficaoo25kNdclOb+wbu2rV3WuSZ8lbOVLjR6t4PAiETEe5NvhAbAnR3RqLWQFKkHh root@centos2
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC8omJRBfKVy/zXL5N9ISCfGyAQOFxZ182JMv2DmhdYnrBoMgaIxyDg3zT1S0XVMTHB8IcjuWSVNkb2EQzlQ3mA1KV73COEKPX5R1pyi8m+LGgj0WHBw22gw6Tki+8xxXSyOc357/6sGHhmMxzGzIsvoobQWbdl8ZYwP14JHM+T4Lu6iucxjhbmA5Gz0WOg04Lzn9Rpc0xKEOL8fwFEAnIDbuwtBGhbeD1MX1OI/CFmfPkpEZW/c4hlnPWBmPbOrNJjO4sLljxvc8NJFvoPfYSQFFjn1sBd9+UrYWM0hiTVtV/G9NMBJuz+CohTiUp/BCW7C2YBQvJqtGyDD9JaqnV root@centos3
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCmSPlKKHdqoAjdBCabO+QqvxsdW2/JXUN69Wb4i2YnO+65+UEgW/8P8BhDWt2MbWbMiFfcxYX/CPBonFVDUA+N8N6e9lQIQ2fCqHlZOoaJiSSyfN2nebojK0Ta839AMekAZRZqZhiHDZmdKGcUWDSfVDpCa1Bg3POQE8JQU9U+C4Zugw4P4C1DCczvDoBL7eEiSa8gVWXh2FmTzgNg/4QvLOiBOwjDoFLhGs/ByWWbFD5Qe1Y98RQ6M2Z07JQ8mplql9zutI8OwIdM/1cvkpQpY6AYY62e7XstGz5Ws8JS+gESpirmJRnDybPY2clEoRrC9PpSSV+tbOrzuUt03Cz root@centos4
以上配置，每台机器都一样，才能主机互信
4. 每台机器都配置yum源并升级
[root@centos1 ~]# cd /etc/yum.repos.d/
[root@centos1 yum.repos.d]# wget http://mirrors.aliyun.com/repo/Centos-7.repo
[root@centos1 yum.repos.d]# wget http://mirrors.aliyun.com/repo/epel-7.repo
[root@centos1 yum.repos.d]#curl -O https://www.watters.ws/rpms/lustre/lustre-2.10.1/server/e2fsprogs.repo
[root@centos1 yum.repos.d]#curl -O https://www.watters.ws/rpms/lustre/lustre-2.10.1/server/lustre.repo
[root@centos1 yum.repos.d]#curl -O https://www.watters.ws/rpms/lustre/lustre-2.10.1/client/lustre-client.repo（此源是为配置lustre客户端使用）
[root@centos1 yum.repos.d]# yum clean all && yum repolist && yum update
5. lustre软件包下载
lustre的软件包可以直接从官网下载（http://downloads.whamcloud.com/public/lustre/）。但是官网提供的包非常多非常乱，有的包也用不到，有的包没提供，相信很多小伙伴都是一脸懵逼，不知如何下手。所以这里我按照自己的方式整理了luster需要下载的源码包，再配合yum一起使用，就可以解决包的问题了（可能整理的源码包不全，但是配合yum使用会解决源码包依赖和系统环境依赖）。
MDT 和 OST需要下载的源码包
kmod-lustre-2.10.1-1.el7.x86_64.rpm
kmod-lustre-osd-ldiskfs-2.10.1-1.el7.x86_64.rpm
lustre-dkms-2.10.1-1.el7.noarch.rpm
lustre-osd-ldiskfs-mount-2.10.1-1.el7.x86_64.rpm
lustre-osd-zfs-mount-2.10.1-1.el7.x86_64.rpm
client需要下载的源码包
lustre-client-debuginfo-2.10.1-1.el7.x86_64.rpm
lustre-osd-ldiskfs-mount-2.10.1-1.el7.x86_64.rpm
lustre-osd-zfs-mount-2.10.1-1.el7.x86_64.rpm
三、lustre安装
1.服务端安装（1台MDT和2台OST）
[root@centos1 ~]# mkdir /opt/lustre
[root@centos1 ~]# cd /opt/lustre/
下载上述源码包
[root@centos1 lustre]# ls
kmod-lustre-2.10.1-1.el7.x86_64.rpm
lustre-osd-ldiskfs-mount-2.10.1-1.el7.x86_64.rpm
kmod-lustre-osd-ldiskfs-2.10.1-1.el7.x86_64.rpm
lustre-dkms-2.10.1-1.el7.noarch.rpm
lustre-osd-zfs-mount-2.10.1-1.el7.x86_64.rpm
使用yum安装zfs及其相关依赖
[root@centos1 lustre]# yum -y install epel-release
[root@centos1 lustre]# yum -y installhttp://download.zfsonlinux.org/epel/zfs-release.el7_3.noarch.rpm
[root@centos1 lustre]# yum -y install spl-dkms zfs-dkms
[root@centos1 lustre]# yum -y install libzfs
[root@centos1 lustre]# yum -y install expect
安装源码包
[root@centos1 lustre]# rpm -ivh lustre-osd-ldiskfs-mount-2.10.1-1.el7.x86_64.rpm
[root@centos1 lustre]# rpm -ivh lustre-osd-zfs-mount-2.10.1-1.el7.x86_64.rpm
[root@centos1 lustre]# rpm -ivh lustre-dkms-2.10.1-1.el7.noarch.rpm （耐心等待，过程有点长，中间会提示是否有匹配的kernel-debuginfo-common和kernel-debuginfo-common-包安装）
[root@centos1 lustre]#yum -y install lustre sg3_utils openmpi
[root@centos1 lustre]# yum -y install lustre-tests
[root@centos1 lustre]# rpm -ivh kmod-lustre-osd-ldiskfs-2.10.1-1.el7.x86_64.rpm
[root@centos1 lustre]# rpm -ivh kmod-lustre-2.10.1-1.el7.x86_64.rpm
安装完毕重启一下
[root@centos1 lustre]# reboot
加载lustre和ldiskfs模块
[root@centos1 lustre]# modprobe lustre
[root@centos1 lustre]# modprobe ldiskfs
查看安装的lustre相关的包
[root@centos1 lustre]# rpm -qa | grep lustre
lustre-dkms-2.10.1-1.el7.noarch
lustre-2.10.1-1.el7.x86_64
kmod-lustre-tests-2.10.1-1.el7.x86_64
lustre-osd-ldiskfs-mount-2.10.1-1.el7.x86_64
lustre-iokit-2.10.1-1.el7.x86_64
lustre-osd-zfs-mount-2.10.1-1.el7.x86_64
kernel-3.10.0-693.2.2.el7_lustre.x86_64
lustre-tests-2.10.1-1.el7.x86_64
kmod-lustre-2.10.1-1.el7.x86_64
kmod-lustre-osd-ldiskfs-2.10.1-1.el7.x86_64
2.安装客户端（client）
[root@centos4 ~]# mkdir /opt/lustre
[root@centos4 ~]# cd /opt/lustre/
下载上述源码包
[root@centos4 lustre]# ls
lustre-client-debuginfo-2.10.1-1.el7.x86_64.rpm
lustre-osd-ldiskfs-mount-2.10.1-1.el7.x86_64.rpm
lustre-osd-zfs-mount-2.10.1-1.el7.x86_64.rpm
[root@centos4 lustre]# rpm -ivh lustre-client-debuginfo-2.10.1-1.el7.x86_64.rpm
[root@centos4 lustre]# yum -y install libzfs
[root@centos4 lustre]# yum -y install expect
[root@centos4 lustre]# rpm -ivh lustre-osd-ldiskfs-mount-2.10.1-1.el7.x86_64.rpm
[root@centos4 lustre]# rpm -ivh lustre-osd-zfs-mount-2.10.1-1.el7.x86_64.rpm
[root@centos4 lustre]# yum -y install lustre-client
安装完毕重启一下
[root@centos4 lustre]# reboot
加载lustre模块
[root@centos6 lustre]# modprobe lustre
查看安装的lustre相关的包
[root@centos6 lustre]# rpm -qa | grep lustre
lustre-client-debuginfo-2.10.1-1.el7.x86_64
lustre-osd-zfs-mount-2.10.1-1.el7.x86_64
lustre-client-2.10.1-1.el7.x86_64
lustre-osd-ldiskfs-mount-2.10.1-1.el7.x86_64
kmod-lustre-client-2.10.1-1.el7.x86_64
四、lustre配置
Lustre是基于内核的分布式文件系统，而不是像其它一些用户态的分布式文件系统那样直接建立在ext3或者是ext4之上。Lustre需要对磁盘进行格式化，并且在格式化的过程中进行参数配置。这里分别给前3台机器添加一块20G硬盘作为测试用，添加的硬盘显示为/dev/sdb ，最后一台机器作为客户端
1. 在MDS服务器（192.168.11.148）上执行以下操作
[root@centos1 lustre]# mkfs.lustre --fsname=lustrefs --mgs --mdt --index=0 /dev/sdb
参数解释：
fsname指定的是创建lustre时的文件系统名
mgs指定该机器为元数据服务器，即该机器为mds
mdt指定/dev/sdb为元数据实际数据存储位置
至于index则指定该mgs的索引号，mgs可以设置主备模式，但mdt需要在主备mds之间共享
[root@centos1 lustre]# mount.lustre /dev/sdb /mnt/mdt
2.在两台OST服务器（192.168.11.149/150）上执行以下操作
[root@centos2 lustre]# mkfs.lustre --fsname=lustrefs --mgsnode=192.168.11.148@tcp --ost --index=0 /dev/sdb
参数解释：
fsname不多说
mgsnode指定oss请求元数据节点，并指明访问协议tcp
ost指定/dev/sdb为存储数据的实际位置
index这个参数可以看到两个节点是不一样的
//整个系统的实际容量是两台OST的/dev/sdb的容量
[root@centos2 lustre]# mount.lustre /dev/sdb /mnt/ost0
[root@centos3 lustre]# mount.lustre /dev/sdb /mnt/ost1
查看一下容量
[root@centos2 ~]# df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/mapper/cl-root 37G 4.1G 33G 11% /
devtmpfs 907M 0 907M 0% /dev
tmpfs 920M 0 920M 0% /dev/shm
tmpfs 920M 8.4M 912M 1% /run
tmpfs 920M 0 920M 0% /sys/fs/cgroup
/dev/sda1 1014M 235M 780M 24% /boot
/dev/sdb 20G 46M 19G 1% /mnt/ost0
tmpfs 184M 0 184M 0% /run/user/0
3.客户端（192.168.11.151）挂载
[root@centos4 lustre]# mount.lustre 192.168.11.148@tcp:/lustrefs /mnt/lustre
查看系统容量
[root@centos4 lustre]# df -hT
文件系统 类型 容量 已用 可用 已用% 挂载点
/dev/mapper/cl-root xfs 37G 4.2G 33G 12% /
devtmpfs devtmpfs 910M 0 910M 0% /dev
tmpfs tmpfs 920M 0 920M 0% /dev/shm
tmpfs tmpfs 920M 8.4M 912M 1% /run
tmpfs tmpfs 920M 0 920M 0% /sys/fs/cgroup
/dev/sda1 xfs 1014M 186M 829M 19% /boot
192.168.11.148@tcp:/lustrefs lustre 39G 91M 37G 1% /mnt/lustre
tmpfs tmpfs 184M 0 184M 0% /run/user/0
可以看到客户端挂载后，可用容量为两台OST的/dev/sdb的总容量
4. 测试
1）客户端测试：
[root@centos4 lustre]# dd if=/dev/zero of=/mnt/test.img bs=1M count=4500
记录了4500+0 的读入
记录了4500+0 的写出
4718592000字节(4.7 GB)已复制，7.40257 秒，637 MB/秒)
2）其中一台OST服务器测试
[root@centos2 lustre]# dd if=/dev/zero of=/tmp/test.img bs=1M count=4500
记录了4500+0 的读入
记录了4500+0 的写出
4718592000字节(4.7 GB)已复制，6.74598 秒，699 MB/秒
3）MDT上测试
[root@centos1 lustre]# dd if=/dev/zero of=/tmp/test.img bs=1M count=4500
记录了4500+0 的读入
记录了4500+0 的写出
4718592000字节(4.7 GB)已复制，7.06079 秒，668 MB/秒)
4）一台普通电脑PC测试
shown@localhost ~ $ dd if=/dev/zero of=/tmp/test.img bs=1M count=4500
记录了4500+0 的读入
记录了4500+0 的写出
4718592000 bytes (4.7 GB, 4.4 GiB) copied, 43.889 s, 108 MB/s
可以看出lustre是相当的快
五、番外篇
lustre文件系统非常快，但它没有很好的数据冗余保护机制，部分节点宕机的话很容易造成数据丢失。推荐一个提高lustre系统数据安全性的架构，即底层直接配置两个lustre系统，数据一式两份，这样子的架构是一个成本比较低的提高lustre数据安全性的方案。并且我所知道的是已经有不少朋友都是这么设计的。不过这样做需要花费成本的地方在于数据如何正确的同步（此方案未经论证）
六、参考资料
http://www.blogchong.com/?mod=pad&act=view&id=27
https://www.watters.ws/mediawiki/index.php/Lustre_Install_Notes
