作者简介：杨兴祥，QingStor 顾问软件工程师，2012 年开始先后在创新科、华为从事存储相关的开发工作，在分布式存储领域有丰富的开发经验，目前负责 QingStor NeonIO 云原生存储的开发工作。
NeonIO 是什么
NeonIO 是一款支持容器化部署的企业级分布式块存储系统，能够给 Kubernetes 平台上提供动态创建（dynamic provisioning）持久存储卷（persistent volume）的能力，支持 clone、snapshot、resstore、resize 等功能。
NeonIO 架构图
NeonIO 架构如图上所示。
- zk/etcd：提供集群发现、分布式协调、选 master 等服务；
- mysql：提供元数据存储服务，如 PV 存储卷的元数据；
- center：提供逻辑管理服务，如创建 PV 卷，快照；
- monitor：提供监控服务，能够把采集监控指标暴露给 Prometheus；
- store：存储服务，处理应用 IO 的功能；
- portal：提供 UI 界面服务；
- CSI：提供 csi 的标准 IO 接入服务；
NeonIO 特点
易用性
(1) 组件容器化：服务组件、CSI、Portal 容器化。
(2) 支持 CSI：提供标准的 IO 接入能力，可静态、动态创建 PV。
(3) UI 界面，运维方便：
- 存储运维操作界面化、告警、监控可视管理；
- 有基于 PV 粒度的性能监控，如 IOPS、吞吐量，可以快速定位到热点 PV；
- 有基于 PV 粒度的 Qos，能够保证用户高优先级的服务质量；
(4) 与云原生高度融合：
- 支持 Prometheus，通过 ServiceMonitor 把 NeonIO 的采集指标暴露给 Prometheus、Grafana，进行图形化展示；
- 同时 UI 界面可与 Prometheus 对接，展示其他云原生监控的指标，如 node-exporter 的磁盘 IO 负载、带宽等；
- 平台化的运维方式，存储的扩容、升级、灾难恢复运维操作、只需要 k8s 的一些命令即可完成，不需要额外掌握过多的存储相关的运维知识；
- 服务发现、分布式协调支持 etcd、元数据的管理，使用 CRD 的方式；
(5) 一键式部署：helm install neonio ./neonio -- namespace kube-system。
(6) 部署简单灵活：和 Rook-Ceph 对比：
| 功能 | NeonIO | Rook-Ceph |
|---|---|---|
| Quick Start | 总共 4 步: 1.检查确保有可给供 neonio 的设备； 2.检查是否已经安装 QBD； 3.添加 helm repo； 4.安装部署：helm install neonio ./neonio --namespace kube-system |
总共 5 步: 1.检查确保有可给供 ceph 的设备； 2.检查是否已经安装 RBD； 3.apt-get install -y lvm2； 4.下载代码：git clone --single-branch --branch master https://github.com/rook/rook.git 5.cd rook/cluster/examples/kubernetes/ceph kubectl create -f crds.yaml -f common.yaml -f operator.yaml kubectl create -f cluster.yaml |
| 单机 all-in-one | helm install neonio ./neonio --namespace kube-system --set sc.rep_count=1 --set center.servers=1 -- | cd rook/cluster/examples/kubernetes/ceph kubectl create -f crds.yaml -f common.yaml -f operator.yaml kubectl create -f cluster-test.yaml 使用区别与集群部署时的另一个配置cluster-test.yaml进行部署，不能做到配置共用 |
| 节点规划部署 | 通过对对应节点打 label | 通过修改 cluster.yaml，需要配置节点 IP 配置那些服务 |
| RDMA/TCP | helm install neonio ./neonio --namespace kube-system --set store.type=RDMA | ceph 本身支持 RDMA，rook-ceph 不支持 |
| 管理、存储网络分离/共有 | helm install neonio ./neonio --namespace kube-system --set store.port=eth0 --set rep_port.port=eth1 | ceph 本身 pubic、cluster 网口的分离公用，rook-ceph 适配复杂 |
高性能
(1) 全闪的分布式存储架构
- 集群中所有节点共同承担压力，IO 性能随着节点增加而线性增长；
- 存储介质支持 NVME SSD；
- 支持 RDMA：通过高速的 RDMA 技术将节点连接；
(2) 极短的 IO 路径：抛弃文件系统，自研元数据管理系统，使 IO 路径极短
(3) 使用 HostNetwork 网络模式
好处：
- Store CSI Pod 使用 HostNetwork，直接使用物理网络，减少网络层次；
- 管理网络、前端网络、数据同步网络分离，避免网络竞争；
高可用
(1) 服务组件可靠性与可用性
- 管理服务默认使用3副本Pod,副本数可以配置，推荐使用 3/5 副本，任何一 Pod 因故障无法提供服务，还有其他 Pod 提供服务；
- 使用探针检测 Pod 服务是否可用，是否存活，检测到 Pod 服务部可用剔除组件服务， 检测到 Pod down 掉后重启 Pod，使其重新启动服务；
(2) 数据的可靠性与可用性
- Volume 分片为 Shard；
- 每个 Shard 独立选择存储位置；
- 每个 Shard 的 3 个副本存储在不同的物理节点上；
- 写入时同步写入 3 个副本，强一致；
- 读取时只从主副本读；
- 副本数按 volume 可配；
敏捷性
(1) Pod 跨节点重建高效：2000PV 的挂载/卸载 16s。
(2) 批量创建 PV 能力：2000PV 的创建 5min。
NeonIO 性能表现
测试平台：NeonIO 超融合一体机集群（3 个节点，192.168.101.174 - 192.168.101.176）。
注意：所有测试均使用 NVMe SSD，卷大小 = 1TiB。性能工具：https://github.com/leeliu/dbench
图中黄色表示的是 NeonIO，第一张图纵坐标是 IOPS，第二张图纵坐标是毫秒，从结果来看，无论是单副本还是 3 副本，NeonIO 在 IOPS、时延都有明显的优势。
NeonIO 应用场景
- Devops 场景：批量快速创建/销毁 PV 能力，2000PV 创建 5min。
- 数据库场景：WEB 网站后端数据库 MySQL 等提供稳定的持久化存储，提供高 IOPS、低时延。
- 大数据应用分析场景：提供超大容量，PV 可扩容到 100TB。
- 计算和存储分离部署场景：k8s 集群 1 部署 neonio，k8s 集群 2 通过 CSI 使用 k8s 集群1的neonio存储。
相关文章推荐
存储大师班 | ZFS存储池块管理与事务模型
对象存储手把手教四 | Bucket 生命周期管理
本文由博客一文多发平台 OpenWrite 发布！
