Linux磁盘管理体系—Day20课堂笔记

ps:标题 红色

    命令      粉色             

    备注解释  蓝色   

    案例重点  红字黄底

第16章 Linux磁盘管理体系

前言:思想

十大需求

你最不想改变的,往往是你最需要改变的。

16.0重点:

16.1 什么是磁盘及磁盘的知识结构体系

16.2磁盘的历史介绍(了解)

16.2 磁盘的作用及特点

16.3磁盘内部相关名词知识及详细记忆要点

详细记忆要点:

16.4 磁盘内部结构图解

磁盘内部

磁头结构图

16.5磁盘接口类型

16.5.2 SCSI磁盘与SCSI

16.7企业生产环境主流磁盘的相关信息对比

16.7光纤通道

16.8 SSD固态磁盘

16.8.1固态磁盘的分类

16.8.2 SSD固态磁盘主流接口类型

16.8.3 SSD固态硬盘的优缺点

16.8.4 SSD固态磁盘与传统机械磁盘优劣势对比

16.8.5 生产环境磁盘的选型和应用案例

16.8.5.1 生产工作中服务器的选型

16.8.5.2 企业生产工作中磁盘的类型

16.8.5.3磁盘选购小结:

16.8.5.4 老男孩企业故障案例:

16.7淘宝CDN缓存对象分级存储策略案例

16.7 网站架构不同角色服务器磁盘选型策略

16.8 各大结构图

16.2.1磁盘及盘片结构图

16.2.2磁盘的磁头结构图

13.3磁盘读写流程

前言:思想

十大需求

1.生理需求:吃(食物)喝(水)拉撒性,这是生活必备需求。

2.金钱需求:钱(物质、礼品、股东、汽车、房产等等)。

3.安全需求:人身安全(环境、食品安全)、健康保障(运动、健身)。

4.情感需求:爱情、亲亲、友情、同窗情、哥们、战友、闺蜜(爱与被爱的需求)。

例如:技术小白如何搞定IT高手?搞定他的基本需求,就是你请教问题,他乐意给你解答。如果做到这个问题,你就必须要知道IT高手有什么需求?你满足他们这些需求就OK。IT高手一般都是优秀的行业人才,他们大多数的共性需求是:

(1)喜欢做事专业、规范的人,哪怕他是技术小白。

    不管是小白还是其他,只要给人感受做事专业规范,就会有人愿意帮助你。

(2)喜欢做事有态度、懂得感恩的人,哪怕他是技术小白。

(3)喜欢人品好,做事踏实有责任心的人,哪怕他是技术小白。

(4)喜欢出手(发红包、请客、送礼物等等)相对大方的人,哪怕他是技术小白。

(5)喜欢漂亮美丽的女孩,哪怕他是技术小白。

5.重要需求:认知和格局中没有色素质、礼貌、信念导致别人不会对你有这样的需求,所以要满足别人的重要性的需求特别重要。

6.赞美和鼓励:一般可以在大神写的文章下面、发的朋友圈下面多点赞和评论赞美,和同级以及下级的人交往中多鼓励,多对人肯定,将你真棒时常挂在嘴边!

备注:把“但是”换成“同时”,鼓励比埋怨更容易改进错误。

你最不想改变的,往往是你最需要改变的。

7.成长需求:

8.美得需求:

9.自由需求:

10.好奇需求:

16. 磁盘

16.0重点:

1.磁盘接口类型。

2.常用的磁盘类型。

3.根据业务场景的磁盘选型(热数据分层存储)

16.1 什么是磁盘及磁盘的知识结构体系

磁盘:永久存放数据的

说明:硬盘和磁盘是对磁盘存储系统同一个称呼


图解:

第一层次:Linux系统硬件层次(磁盘的内外部结构以及机械磁盘的工作原理和读写原理)

第二层次:Raid和LVM逻辑层次(Raid及LVM知识,企业中的应用区别)

第三层次:分区层次(Linux下磁盘分区知识)

第四层次:文件系统层次(文件系统及格式化系统相关知识)

第五层次:挂载层次(被格式化后磁盘如何被应用)

第六层次:Linux系统下磁盘文件系统的等日常管理维护知识和实践

16.2磁盘的历史介绍(了解)

从1956年9月IBM像世界展示了第一台磁盘存储系统IBM 350 RAMAC 至今,磁盘存储系统已经历了近半个世纪的发展。经历了这么多年,磁盘的变化非常巨大。虽然最早的RAMAC容量只有5MB,然而却需要使用50个直径为24英寸的磁盘。而我们现在的一块容量高达1000GB的磁盘,仅仅只需要3张磁盘片(还是一块3.5寸盘)即可。

16.2 磁盘的作用及特点

用途:储存我们平时工作、学习、生活中的数据。例如:照片、视频、工作文档等。

备注:数据是计算机的核心,工作数据不能丢失,需要了解磁盘方方面面知识,才能确保我们及客户的数据完整。


16.3磁盘内部相关名词知识及详细记忆要点


详细记忆要点:

(1)一块磁盘有2-14个盘面,每个盘面有两个面,每个面对应一个读写磁头,用磁头号来区分盘面,即盘面书就是磁头数,盘片数*2=磁头数(盘面数)。

(2)不同盘面的磁道被划分为多个扇形区域,每个区域就是一个扇区(Sector)

(3)同一个盘面,以盘片中心为圆心,每个不同半径的圆形轨迹就是一个磁道(Track)

(4)不同盘面相同半径的磁道组成一个圆柱面就是柱面(Cylinder)

(5)一个柱面包括多个磁道(这些磁道的半径相同),一个磁道包括多个扇区。

(6) 数据信息记录可表示为:某磁头,某磁道(柱面),某扇区。

16.4 磁盘内部结构图解



16.5磁盘接口类型

磁盘接口:磁盘与主机系统间的连接部件。

作用:在磁盘缓存和主机内存之间传输数据。(决定性作用,影响读取效率)

分类:IDE(早期家用、部分服务器)、SATA、SCSI、光纤FC通道(高端服务器,价格昂贵)

备注:家用市场和服务器市场SATA、SAS串口磁盘,当前PC机磁盘的主流。


16.5.1 SAS磁盘与接口

SAS 磁盘与SAS接口:  SAS是新一代的scsi 技术,和现在流行的SATA磁盘相同,都是采用串行技术已获得更高的速度,并通过缩短链接接线 改善内部空间。

SAS技术的优势:  降低成本 、 传输性能更高、 扩展性能更好 、安装更简单、兼容性更好

16.5.2 SCSI磁盘与SCSI

SCSI(小型计算机系统接口),和IDE(ATA)是完全不同的接口,IDE接口是早期普通PC的标准接口,而SCSI并不是专门为磁盘设计的接口,是一种广泛应用于小型机上的高速数据传输技术。

SCSI优点:范围广、多任务、带宽大、CPU占用率低,以及热插拔等有点,因较高的价格使得它很难如IDE磁盘般普及。

  SCSI接口模拟图


16.7企业生产环境主流磁盘的相关信息对比

企业生产环境主流磁盘的相关信息对比:

企业生产场景普及程度:SAS>SSD>SATA

单位容量对比性能和价格:SSD>SAS>SATA(一块SSD和一块SATA)

单位价格购买磁盘容量:SATA>SAS>SSD

16.7光纤通道

光纤通道(Fibre Channel),和SCSI接口一样最初不是为磁盘设计开发的接口技术,是专门为网络系统设计的,后因储存系统对速度的需求,才逐渐应用到磁盘系统中。

来历:为提高多次盘存储系统的速度和灵活性才开发的,它的出现提高了多磁盘系统的通信速度。

特性:热插拔、高速带宽、远程连接、连接设备数量大等。

光纤通道是为在像服务器这样的多次盘系统环境而设计,能满足高端工作站、服务器、海量存储子网络、外设间通过集线器、交换机和点对点连接进行双向、串行数据通讯等系统对搞数据传输率的要求。

16.8 SSD固态磁盘

固态磁盘是由控制单元和存储单位

16.8.1固态磁盘的分类

存储介质:

(1)采用闪存(FLASH芯片)作为存储介质

(2)采用DRAM作为存储介质

详解:

(1)基于闪存(FLASH芯片)的固态磁盘,采用闪存(FLASH芯片)作为存储介质,也就是我们常说的SSD。外观:笔记本磁盘、为磁盘、存储卡、U盘等样式。

优点:可移动、数据保护不受电源控制,能适应与各种环境

缺点:使用年限不高,适合于个人用户使用

(2)基于DRAM的固态硬盘,采用DRAM作为存储介质,目前应用范围较窄。它仿效传统磁盘的设计、可被绝大部分操作新系统的文件系统工具进行卷设置和管理,并提供工业标准的PCI和FC接口用于连接主机和服务器。

应用方式:SSD磁盘和SSD磁盘阵列

优点:高性能存储器,使用寿命长

缺点:需独立电源来保护数据安全

16.8.2 SSD固态磁盘主流接口类型


16.8.3 SSD固态硬盘的优缺点


数据备份是运维的第一要务

16.8.4 SSD固态磁盘与传统机械磁盘优劣势对比

SSD相比传统机械磁盘:

重要优势:随机存取速度、功耗、防震、重量方面优势很大,特别是存取性能。

重要缺点:容量、价格、写入寿命、数据恢复难。

详细看下表:


16.8.5 生产环境磁盘的选型和应用案例

16.8.5.1 生产工作中服务器的选型

    DELL,HP,IBM等,其中DELL,HP是互联网公司的主流服务器,这两个品牌的服务器综合的性价比比较高。百度很多用IBM的服务器。

16.8.5.2 企业生产工作中磁盘的类型

磁盘:

当前服务器市场:主流磁盘为SAS、SATA、SSD硬盘。

(1)企业级SAS硬盘(默认):

企业里常见的SAS硬盘是15000转/分(这里就是主轴的转数)。当前主流300G、600G、1000G,从具体的业务需求及性价比考虑,老师在工作中多用146G、300-600G的SAS硬盘,一般选6*300G,6*600G,单盘容量不要太大,除非纯备份!

满足容量的基础上尽量保持4快磁盘以上。

用途:用于提高生产线上的普通对外提供服务的业务服务器:

例如:生产线上的数据库业务、存储业务、图片业务及相关高并发业务(web http,cache服务),总的来说,如果没有特殊业务需求,SAS磁盘是生产环境首选的磁盘配置。

给客户用,用SAS盘。

(2)企业级SATA硬盘:

企业级SATA硬盘,7200-10000转/分,常见的容量为1T、2T、4T、6T。

优点:容量性价比高,一般2T的SATA磁盘较佳。

从具体的业务需求及性价比考虑,老师工作中多用SATA磁盘做线下不提供服务的数据存储或者并发业务访问不是很大的业务应用,比如站点程序及数据库、图片的线下备份等。

选择SATA理由:1.没钱。2.数据量少,数据不需要给用户提供服务。3.用于备份。

(3)SSD固态电子盘:

特点:容量小,价格贵,速度快。

一般用于数据量小并且有超大规模高并发的业务(这不是唯一的办法,还可以通过磁盘加内存缓存的技术方式解决这个大规模并发的问题)。

百度、腾讯、360核心业务都会采用SSD磁盘,应用层也必须做各种缓存。

大公司如taobao,某些业务可能会根据数据的热度来综合使用分层存储,以达到性价比最佳的情况。80G SSD+500GSATA

16.8.5.3磁盘选购小结:

(1)线上的业务,用SAS磁盘。

(2)线下的业务,用SATA磁盘,磁带库。

(3)线上高并发、小容量的业务,SSD磁盘。

(4)成本思想:根据数据的访问热度,智能分析分层存储。SATA+SSD.

16.8.5.4 老男孩企业故障案例:

不要用SATA磁盘来做在线高并发服务的数据存储或数据库业务,这是血的教训。

某公司采用SATA做数据库的存储盘,结果导致数据库连续宕机一个月。

5台SATA盘RAID5

解决:重新买5台,把磁盘从SATA(RAID5)换成SAS(RAID10)。6个月没事。

数据库集群,主库选择用SAS RAID10,从库SAS Raid0。当数据库使用的引擎是MyISAM引擎,改成Innodb引擎。

备注:至少10-20个企业案例      查主从数据库

16.9不同类型磁盘的价格容量普及度对比(图为15年,仅供参考)



16.7淘宝CDN缓存对象分级存储策略案例

提出问题:

在存储数据中,18KB一下的对象数量占总数量的80%,而其存储量占总量不到40%;同时80%经常被访问的对象所占用的存储空间不到总量的20%。

分析问题:

以上的问题意味着“热点数据”(即访问频次高的内容)需要更快的性能,而占的空间并不大,而“冷数据”(访问频次低的内容)所需存储量很大,对性能要求不需要高。

解决问题:

因此,服务器引入分层存储机制,单台服务器(实际会多台)的磁盘可由一块80GB的SSD磁盘和两块500GB的SATA盘组成。然后把“热数据”存放在SSD盘上,“冷数据”存放在SATA盘上,冷热数据可以动态调整,从而兼顾性能、容量与成本。另:分层存储调度软件有淘宝开发。

上面的策略是高效,低成本方案,这是我们运维工作需要重视的,实际工作中不可能不考虑成本,而无限制的去提升性能。

参考与http://server.51.com/News-318584.htm

16.7 网站架构不同角色服务器磁盘选型策略

例如:web server 如何配置磁盘容量和个数,负载均衡器如何配置容量和个数,存储服务器,数据库服务器,监控服务器等等。

16.8 各大结构图

16.2.1磁盘及盘片结构图


16.2.2磁盘的磁头结构图









fdisk -l 查看磁盘以及对应的分区

[root@keyan~]#fdisk -l

Disk /dev/sda: 21.5 GB, 21474836480 bytes, 41943040 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk label type: dos

Disk identifier: 0x0000350b

  Device Boot      Start        End      Blocks  Id  System

/dev/sda1  *        2048      411647      204800  83  Linux

/dev/sda2          411648    2050047      819200  82  Linux swap / Solaris

/dev/sda3        2050048    41943039    19946496  83  Linux

C6

[root@oldboy ~]#fdisk -l

Disk /dev/sda: 21.5 GB, 21474836480 bytes

255 heads, 63 sectors/track, 2610 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk identifier: 0x000349ee

   Device Boot      Start         End      Blocks   Id  System

/dev/sda1   *           1          26      204800   83  Linux

Partition 1 does not end on cylinder boundary.

/dev/sda2              26         124      786432   82  Linux swap / Solaris

Partition 2 does not end on cylinder boundary.

/dev/sda3             124        2611    19979264   83  Linux

[root@oldboy ~]# echo 512*63*2610*255|bc  (算磁盘容量  备注:bc计算器)

21467980800

[root@oldboy ~]# echo 512*63*2610*255/1000/1000

512*63*2610*255/1000/1000

[root@oldboy ~]# echo 512*63*2610*255/1000/1000|bc

21467

[root@oldboy ~]#echo 512*63*2610*255/1000/1000/1000|bc

21

[root@oldboy ~]#echo 512 63 2610 255|awk '{print $1*$2*$3*$4/1000000000}'

13.3磁盘读写流程

磁盘的读写是按柱面读写的

寻道:从一个磁道到另一个磁道(磁盘原理是避免寻道,寻道效率低)

磁头读写是电子信号



©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,602评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,442评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,878评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,306评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,330评论 5 373
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,071评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,382评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,006评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,512评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,965评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,094评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,732评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,283评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,286评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,512评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,536评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,828评论 2 345

推荐阅读更多精彩内容

  • 第1章 磁盘历史和内外部物理结构 1.1 磁盘发展趋势和实现措施 1.2 磁盘的作用 磁盘的最主要用途就是用来存储...
    Chosen_One23阅读 437评论 0 0
  • 磁盘的历史介绍 1956年9月 IBM向世界展示了第一块磁盘存储系统 RAMAC 当时容量只有5mb 但是体积很大...
    唯美夜色有你可好阅读 438评论 0 0
  • [if !supportLists]第一章 [endif]磁盘历史和内外部物理结构介绍 [if !supportL...
    Linux_淡忘阅读 433评论 0 0
  • 第1章 磁盘历史和内外部物理结构 1.1 磁盘发展趋势和实现措施 1.2 磁盘的作用 磁盘的最主要用途就是用来存储...
    淺唱吶鍛慯阅读 424评论 0 0
  • Linux磁盘历史和内外部物理结构介绍 一、老男孩思想: 回顾幼鹅效应: 1.学会把别人当做你的幼鹅。(女朋友)...
    Aza_Lxxx阅读 369评论 0 0