从Mimic或Luminous升级¶
备注¶
- 在从Luminous升级到Nautilus的过程中, 在monitors升级到Nautilus 之后,将无法使用Luminous ceph-osd守护进程创建新的OSD。我们建议您在升级过程中避免添加或更换任何OSD。
- 我们建议您在升级过程中避免创建任何RADOS pools。
- 您可以使用该命令
ceph versions
监视每个阶段的升级进度,该命令将告诉您每种类型的守护程序正在运行哪些ceph版本。
说明¶
-
如果您的群集最初安装的是Luminous 之前的版本,请确保在运行Luminous 时至少完成了所有PG 的完全清理。如果不这样做,将导致监视器守护程序在启动时拒绝加入quorum,从而使它们无法正常运行。
如果您不确定您的Luminous集群是否已完成所有PG的完全清理,您可以通过运行指令来检查集群的状态:
# ceph osd dump | grep ^flags
为了能够升级到Nautilus,您的OSD map必须包括的
recovery_deletes
和purged_snapdirs
标志。如果您的OSD map不包含这两个标志,您要等待大约24-48小时,在标准群集配置中应该有足够的时间将所有放置组至少擦洗一次,然后重复上述过程要重新检查。
但是,如果您刚刚完成了对Luminous的升级并希望在短时间内继续使用Mimic,则可以使用单行shell命令强制在所有放置组上进行清理,例如:
# ceph pg dump pgs_brief | cut -d " " -f 1 | xargs -n1 ceph pg scrub
您要考虑到这种强制擦洗,可能会对您的Ceph客户端性能产生负面影响。
确保您的群集稳定且健康(无需关闭或恢复OSD)。(可选,但建议。)
-
设置
noout
升级持续时间的标志。(可选,但建议。):# ceph osd set noout
-
通过安装新软件包并重新启动monitor 守护程序来升级监视器。例如,在每个monitor 主机上:
# systemctl restart ceph-mon.target
一旦所有monitor都启动,请通过
nautilus
在mon 映射中查找字符串来验证monitor升级是否已完成。命令:# ceph mon dump | grep min_mon_release
应显示:
min_mon_release 14 (nautilus)
如果不是,则表示尚未升级和重新启动一个或多个monitor和/或quorum 不包括所有monitors。
-
ceph-mgr
通过安装新软件包并重新启动所有manager来升级守护程序。例如,在每位经理主持人身上:# systemctl restart ceph-mgr.target
请注意,如果您使用的是Ceph Dashboard,则可能需要在升级包后单独安装ceph-mgr-dashboard。安装脚本将自动为您重新启动管理器守护程序。所以在这种情况下,您可以跳过重启守护进程的步骤。
ceph-mgr
通过检查验证守护程序是否正在运行:ceph -s
# ceph -s ... services: mon: 3 daemons, quorum foo,bar,baz mgr: foo(active), standbys: bar, baz ...
-
通过安装新软件包并在所有OSD主机上重新启动ceph-osd守护程序来升级所有OSD :
# systemctl restart ceph-osd.target
您可以使用或命令监视OSD升级的进度:
`ceph versions``ceph osd versions`
ceph osd versions
{
"ceph version 13.2.5 (...) mimic (stable)": 12,
"ceph version 14.2.0 (...) nautilus (stable)": 22,
}
-
如果在使用ceph-disk部署的集群中有任何OSD(例如,几乎所有在Mimic发布之前创建OSD),您需要告诉ceph-volume承担启动守护进程的责任。在每个包含OSD的主机上,确保OSD当前正在运行,然后:
# ceph-volume simple scan # ceph-volume simple activate --all
我们建议在此步骤后重新启动每个OSD主机,以验证OSD是否自动启动。
请注意,ceph-volume没有与ceph-disk相同的热插拔功能,其中通过udev事件自动检测新连接的磁盘。如果在运行上述
scan
命令时OSD当前未运行,或者基于ceph磁盘的OSD被移动到新主机,或者重新安装主机OSD,或者/etc/ceph/osd
目录丢失,则需要扫描每个ceph-disk OSD的数据分区。例如,:# ceph-volume simple scan /dev/sdb1
输出包括启用OSD 的appopriate 命令。
`ceph-volume simple activate`
-
升级所有CephFS MDS守护进程。对于每个CephFS文件系统,
-
将等级数减少到1.(如果您计划稍后恢复,请先记下MDS守护进程的原始数量。):
# ceph status # ceph fs set <fs_name> max_mds 1
-
等待群集通过定期检查状态来停用任何非零等级:
# ceph status
-
在适当的主机上使所有备用MDS守护程序脱机:
# systemctl stop ceph-mds@<daemon_name>
-
确认只有一个MDS在线且FS为0级:
# ceph status
-
通过安装新软件包并重新启动守护程序来升级最后剩余的MDS守护程序:
# systemctl restart ceph-mds.target
-
重新启动脱机的所有备用MDS后台驻留程序:
# systemctl start ceph-mds.target
-
恢复卷的原始值
max_mds
:# ceph fs set <fs_name> max_mds <original_max_mds>
-
-
通过升级软件包并在所有主机上重新启动守护程序来升级所有radosgw守护程序:
# systemctl restart radosgw.target
-
通过禁止前Nautilus OSD并启用所有新的Nautilus功能来完成升级:
# ceph osd require-osd-release nautilus
-
如果您
noout
在开头设置,请务必将其清除:# ceph osd unset noout
-
验证群集是否健康。
`ceph health`
-
要启用新的v2网络协议,请输入以下命令:
ceph mon enable-msgr2
这将指示绑定到旧v1协议的旧默认端口6789的所有监视器也绑定到新的3300 v2 协议端口。要查看是否所有monitors都已更新,请:
ceph mon dump
并验证每个监视器都 列出了a v2:
和v1:
地址 。
-
对于已升级的每个主机,您应更新
ceph.conf
文件,以便它指定无监控端口(如果您在默认端口上运行监控器)或明确引用v2和v1地址和端口。如果仅列出v1 IP和端口,事情仍然有效,但每个CLI 实例化或守护进程在学习监视器之后还需要重新连接,并且还会说v2协议,减慢速度并阻止完全转换到v2协议。这也是将任何配置选项完全转换ceph.conf
到集群配置数据库的好时机。在每台主机上,您可以使用以下命令将任何选项导入monitors :ceph config assimilate-conf -i /etc/ceph/ceph.conf
您可以使用以下命令查看群集的配置数据库:
ceph config dump
为每个主机创建一个最小但足够的ceph.conf
:
ceph config generate-minimal-conf > /etc/ceph/ceph.conf
请确保仅在已升级到Nautilus的主机上使用此新配置,因为它可能包含一个mon_host
值,该值 包含 Nautilus只能理解的IP地址的新v2:
和v1:
前缀 。 有关更多信息,请参阅更新ceph.conf和mon_host。
-
考虑启用telemetry module向 Ceph 上游开发人员发送匿名使用统计信息和崩溃信息。要查看将要报告的内容(实际上没有向任何人发送任何信息),:
ceph mgr module enable telemetry ceph telemetry show
如果您对报告的数据感到满意,则可以选择使用以下命令自动报告高级群集元数据:
ceph telemetry on
有关telemetry module的更多信息,请参阅文档。