1.准备目录并设置权限
ssh ceph-node6-osd
su - myceph
sudo mkdir -p /cephdata
sudo chown ceph:ceph -R /cephdata
cd /var/lib/
sudo chmod 777 -R ceph
2.osd证书及ceph证书
ssh ceph-admin
cd /my-cluster
scp ceph.bootstrap-osd.keyring ceph-node6-osd:/var/lib/ceph/bootstrap-osd/ceph.keyring
sudo scp ceph.conf ceph-node6-osd:/etc/ceph/
3.准备osd
sudo ceph-disk prepare --cluster ceph --cluster-uuid 2aed34d1-b133-41cd-8a1d-6026138bef36 --fs-type ext4 /cephdata
4.激活（默认会自动启动ceph服务）
sudo ceph-disk activate /cephdata
5.手动启动osd
sudo ceph-osd --osd-data /cephdata --cluster ceph --id 2aed34d1-b133-41cd-8a1d-6026138bef36 -i $id
6.验证
在mon节点
ceph -s 或 su - myceph && sudo ceph -s
可以见到如下信息，说明ceph基本搭建完成
[root@ceph-node5-mon ~]# ceph -s
cluster 2aed34d1-b133-41cd-8a1d-6026138bef36
health HEALTH_OK
monmap e1: 3 mons at {ceph-node1-mon=10.2.2.11:6789/0,ceph-node4-mon=10.2.2.14:6789/0,ceph-node5-mon=10.2.2.15:6789/0}
election epoch 16, quorum 0,1,2 ceph-node1-mon,ceph-node4-mon,ceph-node5-mon
osdmap e36: 3 osds: 3 up, 3 in
flags sortbitwise
pgmap v201: 64 pgs, 1 pools, 0 bytes data, 0 objects
26969 MB used, 115 GB / 142 GB avail
64 active+clean
7.调整OSD的权重
ceph osd crush reweight {osd_name} {权重}
官方建议用 1.00 作为 1TB 存储设备的相对权重，这样 0.5 的权重大概代表 500GB 、 3.00 大概代表 3TB
查看权重
ceph osd crush tree
8.删除OSD
通常在删除仅有5个节点的小集群的OSD节点的时候，先将要删除的OSD节点权限设置为0，等数据均衡完成后，在剔除OSD，删除OSD
ceph osd crush reweight osd.{osd-num} 0 #设置权重为0
ceph -w #观察
ceph osd out {osd-num} #剔除osd
ceph osd in {osd-num} #将osd加入
ssh {osd-host}
sudo /etc/init.d/ceph stop osd.{osd-num} #关闭osd
ceph osd crush remove {name} #删除osd
ceph auth del osd.{osd-num} #删除osd认证密钥
ceph osd rm {osd-num} #删除osd
修改ceph.conf，删除对应条目
