关于硬件架构
想要了解Linux操作系统的内核设备和驱动模型,最好先了解一下现在计算机硬件的架构。对计算机硬件有一定了解之后,对理解Linux内核中的设备和驱动模型非常有帮助。如图1是常规计算机的硬件架构简图。
这里面需要重点理解的概念包括:总线、PCI桥和设备三个概念。我们下面大概介绍一下这几个概念的含义:
总线: 我们知道计算机通常包括几大件,CPU、内存、输入设备和输出设备等。这些设备之间进行通信需要依赖一种通道,这个通道就是总线。说的直白写,总线就是传输数据的通道,可以类比日常生活中的马路,各个不同的城市通过马路来交换物资。总线有很多种,比如常见的PCI总线,ISA总线和I2C总线等等,我们这里就不相信介绍。
PCI桥: PCI桥是连接PCI总线的纽带,其作用与网络领域的网桥类似。其实我们平时说的北桥,就包含PCI桥。PCI桥主要分3种,3种桥的具体含义如下:
- HOST/PCI桥:提供CPU和PCI设备相互访问的通道,实现CPU空间和PCI空间的映射。
- PCI-PCI桥:实现PCI设备的级联。
- PCI/ISA或LPC桥:实现对ISA设备的兼容。
设备:设备就是具体的设备了,比如网卡、键盘和鼠标等等。
Linux中的设备软件模型
为了降低设备多样性带来的Linux驱动开发的复杂度,以及设备热拔插处理、电源管理等,Linux内核提出了设备模型(也称作Driver Model)的概念。设备模型将硬件设备归纳、分类,然后抽象出一套标准的数据结构和接口。驱动的开发,就简化为对内核所规定的数据结构的填充和实现。Linux中的软件概念与实际物理的概念有一个大致的对应关系,在内核中相关的概念主要包括Bus、Device、Device Driver和Class等。下面是Linux对上述概念的介绍:
Bus(总线):Linux认为(可以参考include/linux/device.h中struct bus_type的注释)总线是CPU和一个或多个设备之间信息交互的通道。而为了方便设备模型的抽象,所有的设备都应连接到总线上。Linux总线是在上述物理总线基础上做的抽象,它可以对应物理总线,也可以没有对应物理总线。
Device(设备):抽象系统中所有的硬件设备,描述它的名字、属性、从属的Bus、从属的Class等信息。
Device Driver(驱动):Linux设备模型用Driver抽象硬件设备的驱动程序,它包含设备初始化、电源管理相关的接口实现。而Linux内核中的驱动开发,基本都围绕该抽象进行(实现所规定的接口函数)。
Class(分类):在Linux设备模型中,Class的概念非常类似面向对象程序设计中的Class(类),它主要是集合具有相似功能或属性的设备,这样就可以抽象出一套可以在多个设备之间共用的数据结构和接口函数。因而从属于相同Class的设备的驱动程序,就不再需要重复定义这些公共资源,直接从Class中继承即可。
设备模型的核心思想
前面介绍了Linux的设备软件模型相关的概念,下面介绍一下各种概念间的关系。对于Linux来说,其软件层面的模型与硬件基本是一致的。由图1, 如果把CPU和内存开成一个树根的话,整个计算机的设备间的关系其实类似一个树,总线类似于树枝。Linux内核在具体实现的时候也是按照此规律进行的,最底层的是根总线(bus),然后是各种具体类型的总线(bus_type),而其下则是设备(device)。
如图2所示,Linux内核针对上面介绍的概念,实现了具体的数据结构。数据结构的名称基本与硬件类型名称一致。比如bus_type表示某种类型的总线,device表示一个物理设备等。
设备和驱动: 用Device(struct device)和Device Driver(struct device_driver)两个数据结构,分别从“有什么用”和“怎么用”两个角度描述硬件设备。这样就统一了编写设备驱动的格式,使驱动开发从论述题变为填空体,从而简化了设备驱动的开发。
总线与设备: 通过"Bus-->Device”类型的树状结构解决设备之间的依赖,而这种依赖在开关机、电源管理等过程中尤为重要。
试想,一个设备挂载在一条总线上,要启动这个设备,必须先启动它所挂载的总线。很显然,如果系统中设备非常多、依赖关系非常复杂的时候,无论是内核还是驱动的开发人员,都无力维护这种关系。
而设备模型中的这种树状结构,可以自动处理这种依赖关系。启动某一个设备前,内核会检查该设备是否依赖其它设备或者总线,如果依赖,则检查所依赖的对象是否已经启动,如果没有,则会先启动它们,直到启动该设备的条件具备为止。而驱动开发人员需要做的,就是在编写设备驱动时,告知内核该设备的依赖关系即可。
类: 使用Class结构,在设备模型中引入面向对象的概念,这样可以最大限度地抽象共性,减少驱动开发过程中的重复劳动,降低工作量。在Linux内核驱动中,类是对具有共性的设备的抽象,比如显示设备类,音频设备类和SCSI设备类等等。比如SCSI设备类包括磁盘设备、光驱设备和USB设备等。
即插即用: 在现代操作系统中即插即用成为常态,我们普通PC的U盘、光驱等都是即插即用的。而对于企业级的服务器甚至要求CPU和内存等组件都是可以即插即用的。
即插即用的实现同样借用Device和Device Driver两个数据结构。在Linux内核中,只要任何Device和Device Driver具有相同的名字,内核就会执行Device Driver结构中的初始化函数(probe),该函数会初始化设备,使其为可用状态。
而对大多数热拔插设备而言,它们的Device Driver一直存在内核中。当设备没有插入时,其Device结构不存在,因而其Driver也就不执行初始化操作。当设备插入时,内核会创建一个Device结构(名称和Driver相同),此时就会触发Driver的执行。这就是即插即用的概念。
SCSI设备示例
SCSI设备是Linux内核中支持的众多设备中的一种。SCSI设备也遵循上面介绍的设备、驱动和总线的结构,但略有不同。Linux内核中抽象了一个称谓SCSI总线的虚拟总线。而在SCSI总线上又包含SCSI的驱动和设备。
SCSI整个架构分为3层,其中中间是中间层,用于实现SCSI的公共功能,比如错误处理等。而上面一层称谓高层,它代表各种scsi设备类型的驱动,如scsi磁盘驱动,scsi磁带驱动,高层驱动认领低层驱动发现的scsi设备,为这些设备分配名称,将对设备的IO转换为scsi命令,交由低层驱动处理。而最下面的称谓底层,它代表与SCSI的物理接口的实际驱动器,主要为各个厂商为其特定的主机适配器(Host Bus Adapter, HBA)驱动,例如: FC卡驱动、SAS卡驱动和iSCSI(iSCSI可以使硬件HBA卡或者基于普通网卡的软件实现)等。
在图3中,Disk Driver就是一个SCSI磁盘驱动,通过该驱动对用户呈现一个普通的磁盘。中间层的驱动是必须第一个被内核加载的,如果编译成内核模块的话,该内核模块为scsi_mod。然后是上层的驱动和底层的驱动。以SCSI磁盘为例,加载的模块是sd_mod。
在SCSI中实现对应上述概念的结构体包括scsi_driver、scsi_device和SCSI类型的总线(bus)。其中SCSI类型的总线并没有定义一个特别的数据结构体,而是对bus_type数据结构的实例化。
需要说明的是对于SCSI设备,其实现又是比较复杂的。我们以光纤适配卡为例,其中一个适配卡又包含多个通路,而每个通路同网络的方式可以跟多个存储设备连接。因此,对于SCSI设备来说,实现上要复杂很多。
在内核中通过Scsi_Host、scsi_target等结构体表示上述概念。具体细节本文不再详述,后面我们再详细介绍SCSI体系架构、FC相关流程和iSCSI相关流程。