ceph 核心组件构成： monitor,osd,mds
     辅助组件：mgr

需求清单

ceph 网络配置

• public 网络，是Client、MON、MDS与OSD通信的网络
• cluster网络，是OSD与OSD通信通信的网络

ditaa-2452ee22ef7d825a489a08e0b935453f2b06b0e6 (2).png

实现方式： osd 利用vlan，单osd配置双网段。

网络设备：
万兆接入交换机：单台服务器，10000bit/s*2

组件配置

mon：

• CPU 核数
  3（建议1核以上）
• RAM 16G （越多越好）
• DISK 100G (10G)
• NIC 1*10G

OSD:

• CPU 2 核（建议2核以上）
• RAM 8G （一个OSD进程配置 RAM大小为 1GB每1TB硬盘）
• DISK
  journal: pice ssd 10G（osd 与ssd 多对1）
  osd journal（ssd） size = <2 * (expected throughput * filestore max sync interval)

The expected throughput number should include the expected disk throughput (i.e., sustained data transfer rate), and network throughput. For example, a 7200 RPM disk will likely have approximately 100 MB/s. Taking the min() of the disk and network throughput should provide a reasonable expected throughput. Some users just start off with a 10GB journal size.

data: hdd (osd 与hdd 一对一)

• NIC 2*10G

MDS: CPU密集型

• cpu 4核（四核或更多的CPU）
• RAM 16G 以上 （越多越好）
• DISK 10G (基本无本地数据)
• NIC 1*10G

服务器需求

存储型 21台

配置：

• DISK
  1* pice ssd 200G （性能型1:12 普通hdd）
  11 * 8T hdd, 其中10个做osd， 另一个做辅助程序的磁盘（domeos）
• RAM
  大于 100 G
• NIC
  双网段万兆
• cpu
  20 核以上
  用途：
  用于部署osd server

非存储型8台

配置：

• DISK
  2 * hdd 500G
• RAM
  128G
• NIC
  单万兆
• cpu
  24 核以上
  用途
  其中5台部署 monitor， 3台部署mds，2主1备（集群）或者 1主2备（主备）

ceph 容灾域规划

生产集群设计容灾域最小为：RACK
需要21 个 osd 节点的部署方式 按照7：7: 7 分布到三个rack上。
通过设计ceph rule规则规划pool的分布到三rack。

绘图1.jpg

容灾域设置
命令：

ceph osd crush add-bucket 02 row
ceph osd crush move 02 root=default
ceph osd crush add-bucket 02-06 rack
ceph osd crush move 02-06 row=02
sudo ceph osd crush move ip-10-25-194-2 rack=02-06

或者直接编辑crashmap 重新加载到monitor

软件配置

ceph 版本： Luminous（12.2.X）

对比之前的版本

• MDS 多活

在Luminous（12.2.x）版本发布之前，在单个文件系统中运行多个活动元数据服务器被认为是实验性的。现在，新文件系统上默认允许创建多个活动元数据服务器。

• blueStore

  blueStore 可用在高性能存储 （sata ssd 搭配 pice/nvme ssd）

os文件系统

  推荐xfs

server端kernal要求：

建议最的LTS kernel新版本

As a general rule, we recommend deploying Ceph on newer releases of Linux. We also recommend deploying on releases with long-term support.

当前的最新linux kernel LTS版本

• 4.14.z
• 4.9.z

客户端内核要求：

客户端版本较低时需要diable服务器端的部分feature才可挂载。

监控报警

ceph监控面板：

image.png