存储基础技术

1、卷

从最简单的卷开始讲起,卷,本质就是硬盘上的存储区域。一个硬盘包括好多卷,一卷也可以跨越许多磁盘。在WINDOWS里,可以使用一种文件系统对卷进行格式化并为其分配驱动器号。

磁盘按使用方式分为两类:基本磁盘、动态磁盘。

基本磁盘受26个英文字母的限制,C-Z 24个,A、B被软驱占用。基本磁盘上只能建立4个主分区。

动态磁盘,不受字母限制,它是以“卷”来命名的。动态磁盘的最大优点是可以将磁盘容量扩展到非邻近的磁盘空间。

卷也分为基本卷和动态卷。基本卷就是驻留在基本磁盘上的主磁盘分区或逻辑驱动器,而驻留在动态磁盘上的卷就是动态卷。

2、RAID

RAID为廉价磁盘冗余阵列,RAID技术将一个个单独的磁盘以不同的组合方式形成一个逻辑硬盘,从而提高了磁盘读取的性能和数据安全性。
RAID0也称为条带化,将数据分成一定的大小顺序写到阵列的磁盘里。RAID0可以并行地执行读写操作,可以充分利用总线的带宽。
RAID1称为镜像,它将数据完全一致地分别写到工作磁盘和镜像磁盘,因此它的磁盘空间利用率为50%。
RAID5是一种存储性能、数据安全和存储成本兼顾的存储方案。
RAID10是RAID1和RAID0的结合先做镜像,然后做条带化,既提高了系统的读写性能,又提供数据冗余保护,利用率也为50%。适用于既有大量的数据需要存储,又对数据安全性有严格要求的领域,如金融和证券。
JBOD是简单磁盘捆绑,通常又称为SPAN,逻辑上把几个物理磁盘一个接一个串联到一起,从而形成一个大的逻辑磁盘。数据简单地从第一个磁盘开始存储,依次往后。
RAID5和RAID10作为重点关注对象。



RAID 5

LUN(Logical Unit Number)逻辑单元号,一般SCSI(Small Computer System Interface,小型计算机系统接口)总线上可挂接的设备数据是有限的,一般为6个或15个,我们可以用对象设备ID即Target ID来描述这些设备。LUN就是为了使用和描述更多设备及对象而引进的一个方法。

卷=分区≤主机设备管理器中的磁盘=LUN≤RAID≤存储设备中硬盘的总容量

3、存储架构

存储架构是SAN基于数据存储的一种通用网络术语,大致分为4种:直连式存储(DAS)、网络附加存储(NAS)、存储区域网络(SAN)和内容寻址存储(CAS)。

一、DAS
直接与主机系统相连接的存储设备,如作为服务器的计算机内部硬件驱动。在这种方式中,存储设备是通过电缆(通常是SCSI电缆)直接到服务器的。
适用环境如下:
1.服务器在地理分布上很分散,通过SAN或NAS在它们之间进行互连非常困难时。
2.存储系统必须被直接接到应用服务器上时。
3.包括许多数据库应用和应用服务器在内的应用,它们需要直接连接到存储器上,群件应用和一些邮件服务也包括在内。

一个SCSI环路或称为SCSI通道最多可以挂载16台设备;FC可以在仲裁环的方式下支持126个设备。

二、NAS
直接与网络介质相连的特殊设备实现数据存储的机制。NAS包括存储器件(如硬盘驱动阵列、CD或DVD驱动器、磁带驱动器或可移动的存储介质等)和专用服务器。专用服务器上装有专门的操作系统,通常是简化的UNIX/Linux操作系统,或者是一个特殊的WIN2000内核。它为文件系统管理和访问做了专门的优化。专用服务器利用NFS或CIFS,充当远程文件服务器,对外提供文件级的访问。
NAS优点:即插即用,通过TCP/IP网络连接到应用服务器,因此可以基于已有的企业网络方便连接,专用的操作系统支持不同的文件系统,提供不同操作系统的文件共享,经过优化的文件系统提高了文件的访问效率,也支持响应的网络协议。即使应用服务器不再工作了仍然可以读出数据。
缺点:NAS设备与客户机通过企业网进行连接,因此数据备份或存储过程中会占用网络的带宽。这必然会影响企业内部网络上的其他网络应用。共用网络带宽成为限制NAS性能的主要问题。
NAS的可扩展性受到设备大小的限制。增加另一台NAS设备非常容易,但是要想将两个NAS设备的存储空间无缝合并并不容易,NAS设备通常具有独特的网络标识符,存储空间的扩大有上限。
NAS访问需要经过文件系统格式转换,以文件以及来访问,不适合BLOCK级的应用,尤其是要求使用裸设备的数据库系统。

三、SAN
存储区域网络(SAN)是指存储设备相互连接且与一台服务器或一个服务器群相连的网络。SAN由服务器、后端存储系统和SAN连接设备组成;
SAN由3个基本的组件构成:接口(如SCSI、光纤通道和ESCON等)、连接设备(如交换设备、网关、路由器和集线器等)和通信控制协议(IP和SCSI等)。

FC SAN
FC SAN-0(1,2,3,4)
FC-0到FC-2被称为FC-PH,也就是“物理层”,光纤通道主要通过FC-2进行传输,因此,光纤通道也常被称为“二层协议”或者“类以太网协议”。
光纤通道支持3种拓扑方式,1.PTP点对点:一般用于DAS设置。
2.FC-AL光纤通道仲裁环路
3.FC-SW交换式光纤通道

IP SAN
ip san通过以太网实现对存储空间的块级访问。
IP SAN走的是iSCSI协议。iSCSI(因特网小型计算机系统接口)是一种在TCP/IP上进行数据块传输的标准。iSCSI继承SCSI和TCP/IP协议,为iSCSI的发展奠定了坚实的基础。

NAS提供的是文件级服务,SAN提供的是块存储服务。NAS在存储服务设施中实现文件系统。存储设备一般通过SCSI并行电缆直接连接到NAS文件服务器。
NAS文件服务器负责管理这些存储设备,给应用服务器提供一个或几个文件系统。应用程序对文件系统进行文件级操作,如打开、读、写、关闭一个文件。NAS文件服务器把对文件的操作映射成对磁盘块的操作,但应用程序不知道文件位于哪个磁盘块。
而在SAN中,文件系统位于应用服务器上。应用服务器把对文件的操作映射成对磁盘块的操作,再把对磁盘块的操作通过SAN执行,最终附接到SAN的存储设备,完成对存储块的操作。

NAS存储设备中的数据通常是通过常规的局域网传输的,和其他类型的计算机通信共享网络带宽。
SAN通常使用适合存储数据传输的光纤通道协议。效率高。
NAS的优点在于NAS文件服务器的管理简单,基本上是即插即用,而SAN需要购买光纤通道网络设备和主机适配卡。同容量NAS便宜。

4、块存储、文件存储、对象存储这三者的本质差别是什么?

作者:繁星亮与鲍包包
链接:http://www.zhihu.com/question/21536660/answer/33279921
来源:知乎

块存储主要是将裸磁盘空间整个映射给主机使用的,就是说例如磁盘阵列里面有5块硬盘(为方便说明,假设每个硬盘1G),然后可以通过划逻辑盘、做Raid、或者LVM(逻辑卷)等种种方式逻辑划分出N个逻辑的硬盘。(假设划分完的逻辑盘也是5个,每个也是1G,但是这5个1G的逻辑盘已经于原来的5个物理硬盘意义完全不同了。例如第一个逻辑硬盘A里面,可能第一个200M是来自物理硬盘1,第二个200M是来自物理硬盘2,所以逻辑硬盘A是由多个物理硬盘逻辑虚构出来的硬盘。)

接着块存储会采用映射的方式将这几个逻辑盘映射给主机,主机上面的操作系统会识别到有5块硬盘,但是操作系统是区分不出到底是逻辑还是物理的,它一概就认为只是5块裸的物理硬盘而已,跟直接拿一块物理硬盘挂载到操作系统没有区别的,至少操作系统感知上没有区别。
此种方式下,操作系统还需要对挂载的裸硬盘进行分区、格式化后,才能使用,与平常主机内置硬盘的方式完全无异。

优点:
1、 这种方式的好处当然是因为通过了Raid与LVM等手段,对数据提供了保护。
2、 另外也可以将多块廉价的硬盘组合起来,成为一个大容量的逻辑盘对外提供服务,提高了容量。
3、 写入数据的时候,由于是多块磁盘组合出来的逻辑盘,所以几块磁盘可以并行写入的,提升了读写效率。
4、 很多时候块存储采用SAN架构组网,传输速率以及封装协议的原因,使得传输速度与读写速率得到提升。

缺点:
1、采用SAN架构组网时,需要额外为主机购买光纤通道卡,还要买光纤交换机,造价成本高。
2、主机之间的数据无法共享,在服务器不做集群的情况下,块存储裸盘映射给主机,再格式化使用后,对于主机来说相当于本地盘,那么主机A的本地盘根本不能给主机B去使用,无法共享数据。
3、不利于不同操作系统主机间的数据共享:另外一个原因是因为操作系统使用不同的文件系统,格式化完之后,不同文件系统间的数据是共享不了的。例如一台装了WIN7/XP,文件系统是FAT32/NTFS,而Linux是EXT4,EXT4是无法识别NTFS的文件系统的。就像一只NTFS格式的U盘,插进Linux的笔记本,根本无法识别出来。所以不利于文件共享。

【文件存储】
典型设备:FTP、NFS服务器
为了克服上述文件无法共享的问题,所以有了文件存储。
文件存储也有软硬一体化的设备,但是其实普通拿一台服务器/笔记本,只要装上合适的操作系统与软件,就可以架设FTP与NFS服务了,架上该类服务之后的服务器,就是文件存储的一种了。
主机A可以直接对文件存储进行文件的上传下载,与块存储不同,主机A是不需要再对文件存储进行格式化的,因为文件管理功能已经由文件存储自己搞定了。

优点:
1、造价交低:随便一台机器就可以了,另外普通以太网就可以,根本不需要专用的SAN网络,所以造价低。
2、方便文件共享:例如主机A(WIN7,NTFS文件系统),主机B(Linux,EXT4文件系统),想互拷一部电影,本来不行。加了个主机C(NFS服务器),然后可以先A拷到C,再C拷到B就OK了。(例子比较肤浅,请见谅……)

缺点:
读写速率低,传输速率慢:以太网,上传下载速度较慢,另外所有读写都要1台服务器里面的硬盘来承担,相比起磁盘阵列动不动就几十上百块硬盘同时读写,速率慢了许多。

【对象存储】
典型设备:内置大容量硬盘的分布式服务器
对象存储最常用的方案,就是多台服务器内置大容量硬盘,再装上对象存储软件,然后再额外搞几台服务作为管理节点,安装上对象存储管理软件。管理节点可以管理其他服务器对外提供读写访问功能。

之所以出现了对象存储这种东西,是为了克服块存储与文件存储各自的缺点,发扬它俩各自的优点。简单来说块存储读写快,不利于共享,文件存储读写慢,利于共享。能否弄一个读写快,利于共享的出来呢。于是就有了对象存储。

首先,一个文件包含了了属性(术语叫metadata,元数据,例如该文件的大小、修改时间、存储路径等)以及内容(以下简称数据)。

以往像FAT32这种文件系统,是直接将一份文件的数据与metadata一起存储的,存储过程先将文件按照文件系统的最小块大小来打散(如4M的文件,假设文件系统要求一个块4K,那么就将文件打散成为1000个小块),再写进硬盘里面,过程中没有区分数据/metadata的。而每个块最后会告知你下一个要读取的块的地址,然后一直这样顺序地按图索骥,最后完成整份文件的所有块的读取。

这种情况下读写速率很慢,因为就算你有100个机械手臂在读写,但是由于你只有读取到第一个块,才能知道下一个块在哪里,其实相当于只能有1个机械手臂在实际工作。
而对象存储则将元数据独立了出来,控制节点叫元数据服务器(服务器+对象存储管理软件),里面主要负责存储对象的属性(主要是对象的数据被打散存放到了那几台分布式服务器中的信息),而其他负责存储数据的分布式服务器叫做OSD,主要负责存储文件的数据部分。当用户访问对象,会先访问元数据服务器,元数据服务器只负责反馈对象存储在哪些OSD,假设反馈文件A存储在B、C、D三台OSD,那么用户就会再次直接访问3台OSD服务器去读取数据。

这时候由于是3台OSD同时对外传输数据,所以传输的速度就加快了。当OSD服务器数量越多,这种读写速度的提升就越大,通过此种方式,实现了读写快的目的。
另一方面,对象存储软件是有专门的文件系统的,所以OSD对外又相当于文件服务器,那么就不存在文件共享方面的困难了,也解决了文件共享方面的问题。
所以对象存储的出现,很好地结合了块存储与文件存储的优点。

最后为什么对象存储兼具块存储与文件存储的好处,还要使用块存储或文件存储呢?
1、有一类应用是需要存储直接裸盘映射的,例如数据库。因为数据库需要存储裸盘映射给自己后,再根据自己的数据库文件系统来对裸盘进行格式化的,所以是不能够采用其他已经被格式化为某种文件系统的存储的。此类应用更适合使用块存储。
2、对象存储的成本比起普通的文件存储还是较高,需要购买专门的对象存储软件以及大容量硬盘。如果对数据量要求不是海量,只是为了做文件共享的时候,直接用文件存储的形式好了,性价比高。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,732评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,496评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,264评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,807评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,806评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,675评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,029评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,683评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,704评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,666评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,773评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,413评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,016评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,204评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,083评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,503评论 2 343

推荐阅读更多精彩内容

  • 网络存储(Network Storage)是数据存储的一种方式,网络存储结构大致分为三种: 1.直连式存储(DAS...
    为了明天_加油阅读 752评论 0 3
  • 在使用第三方库Masonry的时候,有时候可能会出现物体位置并没有出现在我们想要让它出现的位置。最主要的原因还是我...
    valiant_xin阅读 779评论 0 0
  • 又到寒假了,最后一门课程考试结束,交了卷子赶紧回寝室收拾好行李准备返程的列车,大包小裹整理好后,我带着疲惫的身体和...
    曲天任阅读 603评论 2 1
  • 宅在家里的姑娘,都有希望有一个可以带她们驰骋天涯的对象。 然而也只是希望。 在期待爱情而又单身宅的姑娘里,都有一个...
    扶七说阅读 295评论 1 6
  • 1.选择 半加器电路有______个输入端和______个输出端;全加器电路有______个输入端和______个...
    K_K_W阅读 1,209评论 5 12