三种存储协议介绍

常用的存储类型主要有三种,块存储文件存储对象存储。我们在介绍这几种存储类型的过程中会以 Ceph 为例进行演示和对比。

块存储

指将物理存储介质上的物理空间按照固定大小的块组成逻辑盘,并直接映射空间给服务器使用的存储设备。块存储的常用协议包括 SCSI、iSCSI 等。

块设备可理解成一块硬盘,用户可以直接使用不含文件系统的块设备,也可以将其格式化成特定的文件系统,由文件系统来组织管理存储空间,从而为用户提供丰富而友好的数据操作支持。

使用场景
  1. 适用于对 IOPS 要求高,延迟低的结构化数据场景,多用于提供虚拟化、私有云、数据库等使用块存储资源的结构化数据业务,业务应用直接对磁盘块进行访问操作。

    1. 虚拟化环境 : VMware 、 KVM 、OpenStack、容器等;
    2. 云环境 : CloudStack 、ZStack 等;
    3. 数据库: Oracle、MySQL 等。
  2. 如果通过 K8S CSI 使用的话,只支持 ReadWriteOnce(RWO) 模式,即可读可写,但只支持被单个节点挂载使用。

文件存储

文件存储以自上而下的层次结构将存储的信息整理到文件和文件夹中。计算机使用文件存储让用户可以轻松地存储、搜索和检索信息。我们可以使用文件存储系统来存储和组织几乎任何类型的数据。虽然文件存储易于使用,但由于其紧密连接的架构,很难横向扩展。

  1. 以盘符/目录的形式展现给用户
  2. POSIX 接口
  3. NFS/CIFS 等访问协议
使用场景
  1. 提供文件存储功能,支持 NFS/CIFS 等访问协议,常用于传统局域网共享型的业务应用,以支持多个用户对同一文件协同操作为特征。适用于高性能计算、非结构化数据、内容管理、数据归档等。
  2. 如果通过 K8S CSI 使用的话,可以支持 ReadWriteMany(RWX) 模式,即可读可写,可以同时被多个节点挂载使用。

针对块存储和文件存储,需要回答的问题:

  1. 以我们使用的 Ceph 为例,Ceph 有了块设备接口,在块设备上完全可以构建一个文件系统,那么 Ceph 为什么还需要文件系统接口呢?


  1. 为什么 Ceph 的块设备接口不具有共享性,而 Ceph 的文件系统接口具有呢?



对象存储

对象存储主要面向存储大量的非结构化数据,通俗来说,我们日常生活中生成的照片、视频、音频、文档等都属于非结构化数据。这些日常产生的数据都适合存储在对象存储中。对象存储中的所有对象都存储在单个平面地址空间中,而没有传统文件系统复杂的目录层次结构。对象存储的常用协议包括 S3、SWIFT 等。

  1. 对象访问语义,扁平目录结构
  2. RESTful 接口
  3. HTTP 访问协议
  4. 支持副本和 EC

一句话概况,对象存储使用方式就是通过 http 协议上传下载删除对象(文件即对象)。


EC 和 副本

提到存储不得不提到 EC 和副本,顾名思义,副本就是数据写多份,而EC 的全称是Erasure Code——纠删码,是一种编码理论。

  • EC 策略:一般就是我们常说的(K+M),K 个数据块,M 个校验块。
  • 条带(stripe):和磁盘阵列中的条带类似,是把连续的数据分割成相同大小的数据块,把每块数据分别写入到 EC 中的不同磁盘上,EC 会针对这些数据块计算校验块,1 个条带包含多数据块和多个校验块,数据块的个数一般称为 K,校验块的个数称为 M,每个条带包含 (K + M) 块。
EC 和副本的选择
  • 选择 EC 的首要出发点是降低单位存储成本,比起传统的 3 副本存储方式,选择 8 + 3 EC 策略,存储副本数变为 1.375( 11/8),节约了 1.625 的存储副本。
  • 同时相比三副本的存储方式(不管是客户端直接写 3 副本,还是由复制组中的 primary 节点接收数据后写两个 secondary 节点)写入流量减少将近 1 倍。
  • 副本是基于数据完整复制,没有涉及额外的运算,对 CPU 开销较低。EC 由于读写都需要计算校验值,需要额外的 CPU 资源开销。
  • 副本读写性能好,得盘率低。EC 校验码计算有性能损耗,得盘率高。

基于性能的原因,块和文件存储目前只支持副本,因而磁盘利用率较低,而对象存储元数据使用副本存储,数据使用 EC 进行存储。因此,存储优先推荐使用对象存储。

使用场景
  1. 提供 S3 协议接口服务,支持通过 Restful 的访问方式进行数据的上传、下载、删除。常用于互联网、移动终端应用业务云存储,以海量非结构化类型数据为特征。
  2. 支持 EC 功能,空间利用率高。

针对对象存储,需要回答的问题:

  1. 有了块存储和文件存储,为什么还整个对象存储呢?

参考链接

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343

推荐阅读更多精彩内容