一. 安装 CEPH 部署工具
- 在各节点上安装启用软件仓库，启用可选软件库
sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && sudo yum install --nogpgcheck -y epel-release && sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && sudo rm /etc/yum.repos.d/dl.fedoraproject.org*
sudo yum install yum-plugin-priorities
- 安装ntp
sudo yum install ntp ntpdate ntp-doc
- 分别这三个节点上存储创建用户且赋予它root权限(这里用的是dhhy)
sudo useradd -d /home/dhhy -m dhhy
#输入密码这里建议三台服务器密码设为一致
sudo passwd dhhy
passwd 1
- 授予无密码sudo权限
echo "dhhy ALL = (root) NOPASSWD:ALL" >> /etc/sudoers.d/dhhy
sudo chmod 0440 /etc/sudoers.d/dhhy
5.允许无密码 SSH 登录
正因为 ceph-deploy 不支持输入密码，你必须在管理节点上生成 SSH 密钥并把其公钥分发到各 Ceph 节点。 ceph-deploy 会尝试给初始 monitors 生成 SSH 密钥对。
5.1 生成 SSH 密钥对，但不要用 sudo 或 root 用户。提示 “Enter passphrase” 时，直接回车，口令即为空：
切换用户
su dhhy
生成key
ssh-keygen
Generating public/private key pair.
Enter file in which to save the key (/ceph-admin/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /ceph-admin/.ssh/id_rsa.
Your public key has been saved in /ceph-admin/.ssh/id_rsa.pub.
- 增加一下hosts
sudo vi /etc/hosts
加一句
192.168.1.7(用相对应的IP) node1
192.168.1.19(用相对应的IP) node2
- 把公钥拷贝到各 Ceph 节点上
# ssh-copy-id dhhy@node1
# ssh-copy-id dhhy@node2
- 关闭selinux 并重启
sudo vi /etc/selinux/config
修改 SELINUX=disabled
在各节点上创建ceph 源（本人这里选择的jewel，这里推荐使用网易或阿里的ceph源，若用官方源文件会很慢而且容易出现下载失败中断等问题，本人深受下载官方源的坑害）
二. 设置yum源并安装ceph-deploy
- 在 /etc/yum.repos.d/目录下创建 ceph.repo然后写入以下内容
vim /etc/yum.repos.d/ceph.repo
[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/$basearch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.163.com/ceph/keys/release.asc
priority=1
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.163.com/ceph/keys/release.asc
priority=1
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.163.com/ceph/keys/release.asc
priority=1
- 在管理节点nod1上进行安装准备（使用dhhy用户）
2.1切换用户
su dhhy
- 新建文件夹ceph-cluster
$cd ~
$mkdir ceph-cluster
$cd ceph-cluster
- 安装ceph-deploy
sudo yum install ceph-deploy
或者:
rpm -ivh http://download.ceph.com/rpm-jewel/el7/noarch/ceph-deploy-1.5.39-0.noarch.rpm
三. 安装ceph创建集群
- 在管理节点node1 上修改~/.ssh/config文件(若没有则创建)增加一下内容：
Host node1
Hostname 192.168.1.24
User dhhy
Host node2
Hostname 192.168.1.25
User dhhy
Host node3
Hostname 192.168.1.26
User dhhy
- 进入到创建ceph-cluster文件夹下，执行命令
先退出dhhy用户
exit
然后
cd /home/dhhy/ceph-cluster
- 如果在任何时候遇到问题并想重新开始，请执行以下操作清除Ceph软件包，并清除所有数据和配置：
ceph-deploy purge node1 node2
ceph-deploy purgedata node1 node2
ceph-deploy forgetkeys && rm ceph.*
- 创建一个群集
sudo ceph-deploy new node1 node2
如果报无法解析ceph-deploy new: error: hostname: node2 is not resolvable,看下hosts是否有问题
- 安装ceph创建集群
7.1 在生成的ceph.conf中加入（写入[global] 段下）
vi ceph.conf
加入下面一行
osd pool default size = 2
- 如果你有多个网卡，可以把 public network 写入 Ceph 配置文件的 [global] 段下
#public network = {ip-address}/{netmask}
- 安装ceph
# ceph-deploy install node1 node2
- 配置初始 monitor(s)、并收集所有密钥
# ceph-deploy mon create-initial
- 新建osd
11.1添加两个 OSD ，登录到 Ceph 节点、并给 OSD 守护进程创建一个目录。
#ssh node2
#sudo mkdir /var/local/osd0
#exit
#ssh node3
#sudo mkdir /var/local/osd1
#exit
11.2 然后，从管理节点执行 ceph-deploy 来准备 OSD
#ceph-deploy osd prepare node2:/var/local/osd0 node3:/var/local/osd1
11.3 最后，激活 OSD
#ceph-deploy osd activate node2:/var/local/osd0 node3:/var/local/osd1
11.4如果出现** ERROR: error creating empty object store in /var/local/osd0: (13) Permission denie这个是权限有问题无法启动osd盘,解决方法:
ceph集群需要使用的所有磁盘权限，所属用户、用户组改给ceph
chown -R ceph:ceph /var/local/osd0/
错误 ：
[node1][WARNIN] 2018-04-02 14:35:52.254845 7fc312a4d800 -1 ** ERROR: error creating empty object store in /var/local/osd0: (13) Permission denied
[node1][WARNIN]
[node1][ERROR ] RuntimeError: command returned non-zero exit status: 1
[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: /usr/sbin/ceph-disk -v activate --mark-init systemd --mount /var/local/osd0
11.4 确保你对 ceph.client.admin.keyring 有正确的操作权限。
#sudo chmod +r /etc/ceph/ceph.client.admin.keyring
- 检查集群的健康状况
#ceph health等 peering 完成后，集群应该达到 active + clean 状态。
----------------------------------------------------------------------
错误 :
ceph-deploy出错UnableToResolveError Unable to resolve host
ps：在本文中，假设我系统的hostname为node1。
使用ceph-deploy命令搭建Ceph集群，执行ceph new node1时，出现如下错误：
[node1][INFO ] Running command: /bin/ip addr show
[node1][DEBUG ] IP addresses found: ['192.168.56.16', '172.17.0.1', '10.0.2.15']
[ceph_deploy.new][DEBUG ] Resolving host node1
[ceph_deploy][ERROR ] UnableToResolveError: Unable to resolve host: node1
调用该命令之前，已经设置了ssh免密码登录，并且都可以ping通和免密码登录到node1的。
原因:
Ubuntu/centos中有一个让人头痛的特性，就是在/etc/hosts配置文件中，让hostname使用了它的回环loopback地址。这个特性使得很多服务无法检测到真正的地址，这里，ceph-deploy中，ceph_deploy.util.get_nonlocal_ip获取到的是127网段的地址，然后就报错不能解析hostname了。
解决方法:
在/etc/hosts中，把回环地址对应的hostname给删除掉。再添加一行真正的ip地址和hostname的对应关系，即可。
下面错误要同步配置文件,命令:ceph-deploy --overwrite-conf config push node1 node2
[ceph_deploy.mon][ERROR ] RuntimeError: config file /etc/ceph/ceph.conf exists with different content; use --overwrite-conf to overwrite
[ceph_deploy][ERROR ] GenericError: Failed to create 1 monitors
