操作系统完整总结

操作系统概论

操作系统的概念

操作系统是指控制和管理计算机的软硬件资源,并合理的组织调度计算机的工作和资源的分配,以提供给用户和其他软件方便的接口和环境集合。

操作系统的特性

  1. 并发性:是指两个或两个以上的事件或活动在同一个时间间隔内发生。

  2. 共享性:是指系统中并发执行的多个进程共享系统资源,而不是被一个进程独占。由于资源的属性不同,多个进程对资源的共享方式也不同,可以分为互斥共享方式和同时访问方式。

  3. 虚拟性:通过虚拟技术实现系统功能的扩充。虚拟是指把一个物理上的实体映射成若干个逻辑上的对应物。在操作系统中,虚拟的实现主要采用了分时的方法,如果 n 是某个物理设备对应的虚拟逻辑设备数,显然每个虚拟逻辑设备的速度是物理设备的 1/n。

    • 在多道分时系统中,利用多道程序设计技术可以把一台物理上的CPU虚拟为多台逻辑上的CPU,供多个终端用户使用;
    • 在虚拟存储器中,仅把作业的一部分装入内存便可运行作业,从逻辑上对内存容量进行了扩充;
    • 在虚拟设备管理中虚拟设备技术的使用,可将一台物理设备变换为若干台逻辑上的对应物。
  4. 异步性:在多道程序设计环境下,允许多个进程并发执行,由于资源等多个因素的限制,进程的执行不是“一气呵成”,而是“走走停停”的方式运行。内存中的每个进程在何时执行,何时暂停,以怎样的方式向前推进,每道程序需要多长时间运行完等等都是不确定的。

操作系统的功能

  • 服务用户观点——作为用户接口和公共服务程序:向用户提供方便的软件接口和良好的界面。
  • 进程交互观点——作为进程执行的控制者和协调者:进程和线程的管理。
  • 系统实现观点——作为扩展机或虚拟机:对硬件提供功能的扩展。
  • 资源管理观点——作为资源的管理者和控制者:管理计算机系统的软硬件资源(处理器管理、存储管理、文件管理、设备管理、联网与通信管理)。

操作系统的分类

  • 单用户操作系统:一次只能支持一个用户程序的运行,如 MS-DOS 系统
  • 批处理操作系统:优点是资源利用率高、系统吞吐量大,缺点是不具有交互性、作业周转时间长。
  • 分时操作系统:优点是多路性强、交互性好、响应及时
  • 实时操作系统:优点是及时性好、可靠性高
  • 网络与分布式系统、多机系统

操作系统的结构

  • 单体式结构/模块化结构
  • 分层式结构
  • 虚拟机结构
  • 微内核结构

多道程序设计

为什么说批处理多道系统能极大地提高计算机系统的工作效率?

  1. 多道作业并行工作,减少了处理器的空闲时间。
  2. 作业调度可以合理选择装入主存储器中的作业,充分利用计算机系统的资源。
  3. 作业执行过程中不再访问低速设备,而直接访问高速的磁盘设备,缩短执行时间。
  4. 作业成批输入,减少了从操作到作业的交接时间。

优点:提高CPU的利用率;提高设备的利用率;提高系统吞吐量

处理器管理

中断技术

进程管理

进程的概念

进程是具有一定独立功能的程序,它是系统进行资源分配和调度的一个独立单位,重点在系统调度的单位,也就是说进程是可以独立运行的一段程序。
一句话概括,进程是并发环境中完成的程序的执行过程。
进程是资源分配的最小单位。

进程 = (一个)资源+(多个)指令执行序列,也就是将资源和指令执行分开

进程的作用:提高资源利用率、正确描述程序的执行情况、使CPU和外设间有效地并行工作。

进程的描述和组成

进程是由程序段、数据段、进程控制块(PCB)组成。

PCB

进程标识符

处理机状态

进程调度信息

进程控制信息

进程的基本特征

  • 动态性:进程是正在执行程序的实例;进程是动态产生、动态消亡的;进程在其生命周期内,在三种基本状态之间转换
  • 独立性:进程是资源分配的一个独立单位(例如:各进程的地址空间相互独立)
  • 并发性:任何进程都可以和其他进程一起向前推进、并发执行
  • 交互性:进程在执行过程中可能与其他进程产生直接或间接的关系
  • 异步性:由于进程间的相互制约,使进程具有执行的间断性,即每个进程都以其相对独立的不可预知的速度向前推进

进程的状态及其转化

三态模型:

  • 运行态:进程占用CPU正在运行。
  • 就绪态:进程具备了运行的条件(已获得除CPU以外的所需资源),但因其他进程正在运行而暂时停止,等待系统分配处理器以便运行。
  • 等待态/阻塞态:进程不具备运行条件,正在等待某个事件的完成。

状态转换:

  • 就绪 -> 运行:调度进程为其分配处理机
  • 运行 -> 就绪:时间片用完;或出现更高优先级进程,当前进程被迫让出处理器。
  • 运行 -> 等待:正在执行的进程因等待某种事件发生而无法继续执行时,申请临界资源而未被满足,如 IO 请求(等待 I/O 完成)或者申请缓存
  • 等待 -> 就绪:请求得到满足(等待的事件已经发生),如 IO 完成

引起进程阻塞和唤醒的事件

  1. 请求系统服务。当正在执行的进程请求系统提供服务而系统无法满足其请求时,进程阻塞等待;由释放服务的进程唤醒阻塞进程。
  2. 启动某种操作。当进程启动某种I/O操作后阻塞以等待操作完成;由中断处理程序唤醒阻塞进程。
  3. 新数据尚未到达。相互合作的进程中,消费者进程阻塞等待数据到达;生产者进程在数据到达后唤醒阻塞进程。
  4. 无新工作可做。系统进程没有新工作可做时阻塞等待;当有进程发出请求时唤醒阻塞进程。

引起挂起的事件

  • 系统资源不足:当系统资源尤其是内存资源不能再满足进程运行的要求时,必须把某些进程挂起,对换到磁盘交换区中,释放掉它占有的某些资源,暂时不参与低级调度,起到平滑负载的目的。
  • 系统出现故障:以便故障消除后再接触挂起并恢复进程运行。
  • 用户调试程序:以便进行某种检查和修改。

线程管理

线程的概念

线程是“轻量级的进程”。

为什么引入(多)线程

  • 并行实体共享同一个地址空间和所有可用数据的能力。
  • 线程比进程更轻量级,它们比进程更容易、更快地撤销。
  • 同一进程内的线程间切换比进程间的切换要快,尤其是用户级线程间的切换。
  • 拥有多个线程允许这样活动彼此重叠进行,从而会加快应用程序执行速度

一句话概括:快速线程切换,通信易于实现,并行程度提高,减少(系统)管理开销

多线程有什么用?

操作系统分类

根据进程与线程的设置,操作系统大致分为如下类型:

  1. 单进程、单线程,MS-DOS 大致是这种操作系统;
  2. 多进程、单线程,多数 UNIX(及类 UNIX 的 LINUX) 是这种操作系统;
  3. 多进程、多线程,Win32(Windows NT/2000/XP 等)、Solaris 2.x 和 OS/2 都是这种操作系统;
  4. 单进程、多线程,VxWorks 是这种操作系统。

线程的实现方式

  • 内核级线程:1:1
  • 用户级线程:N:1
  • 混合型线程:M:N

详细来说:

  • 一对一模型:该模型为每个用户级线程都设置一个内核线程与之连接,并发能力较强,但每创建一个用户线程,都需要创建一个内核线程。
  • 多对一模型:该模型为多个用户级线程分配一个内核线程。这样的话,线程管理的开销较小,但是当一个线程在访问内核时发生阻塞,则整个进程会被阻塞。
  • 多对多模型:多个用户线程连接到多个内核线程上,内核控制线程的数目可以根据应用和系统的不同而变化,可以比用户线程少,也可以与之相同。

内核级线程

如图所示,即内核级线程的实现方式,每个用户线程都直接与一个内核线程相关联:

image

  • 内核线程的创建、撤销和切换等,都是内核负责、通过系统调用完成的,即内核了解每一个作为可调度实体的线程。
  • 这些线程可以在全系统内进行资源的竞争。
  • 内核管理所有线程管理,并向应用程序提供API接口。
  • 内核维护进程和线程的上下文。
  • 以线程为基础进行调度。
  • 内核空间内为每一个内核支持线程设置了一个线程控制块(PCB),内核根据该控制块,感知线程的存在,并进行控制。
  • 内核线程驻留在内核空间,它们是内核对象。有了内核线程,每个用户线程被映射或绑定到一个内核线程。用户线程在其生命期内都会绑定到该内核线程。一旦用户线程终止,两个线程都将离开系统。这被称作“一对一”线程映射。

内核线程的优点:

  • 多处理器系统中,内核能够调度同一进程中的多个线程并行执行
  • 不需要任何新的、非阻塞的系统调用。如果进程中的一个线程被阻塞,能够切换同一进程内的其他线程继续执行(用户级线程的一个缺点)。内核还可以运行另一个进程的线程,而用户空间实现的线程中,运行时系统始终运行自己进程中的线程。
  • 所有能够阻塞线程的调用都以系统调用的形式实现,代价可观。
  • 信号是发给进程而不是线程的,当一个信号到达时,应该由哪一个线程处理它?线程可以 “注册” 它们感兴趣的信号。

内核线程的缺点:

  • 内核线程数量有限
  • 如果内核线程的操作比较多,会导致上下文的开销很大

用户级线程

image

在用户空间建立线程库,这个线程库里提供了一系列的针对线程的操作。这些线程的管理通过运行时系统(Run-time System)来管理的。
它的管理还是以进程为单位进行管理的,它无法感知线程的存在。因此线程间的切换不需要内核的参与,比较快。

  • 用户级线程仅存在于用户空间。
  • 内核并不能看到用户线程。

内核资源的分配仍然是按照进程进行分配的;各个用户线程只能在进程内进行资源竞争。

用户进程的优点:

  • 可以在不支持线程的操作系统中实现;
  • 线程切换速度非常快,创建和销毁线程、线程切换代价等线程管理的代价比内核线程少得多,因为保存线程状态的过程和调用程序都只是本地过程;
  • 线程的调度不需要内核直接参与,控制简单;
  • 具有较好的可扩展性,允许应用程序根据需要指定线程调度算法
  • 线程能够利用的表空间和堆栈空间比内核级线程多;
  • 不需要陷阱,不需要上下文切换,也不需要对内存高速缓存进行刷新,使得线程调用非常快捷;

用户线程的缺点:

  • 资源调度按照进程进行(内核只将处理器分配给进程),多个处理机下,同一个进程中的线程只能在同一个处理机下分时复用;
  • 线程发生 I/O 或页面故障引起的阻塞时,如果调用阻塞系统调用,则内核由于不知道有线程的存在,而会阻塞整个进程从而阻塞所有线程直到磁盘 I/O 完成为止(尽管其他线程是可以运行的),因此同一进程中只能同时有一个线程在运行;
  • 一个单独的进程内部,没有时钟中断,所以不可能用轮转调度的方式调度线程;

混合型线程

下图说明了用户级与内核级的组合实现方式, 在这种模型中,每个内核级线程有一个可以轮流使用的用户级线程集合:

image

线程创建在用户空间完成,线程调度等在核心态完成。
多个用户级线程多路复用多个内核级线程。也就是说,核外的用户空间的线程通过一个机制和核内的一个内核级线程对应起来,那么调度内核的这个线程上CPU也就是调度核外的线程上的CPU。

用户级线程和内核级线程的区别

  • 内核支持线程是 OS 内核可感知的,而用户级线程是 OS 内核不可感知的。
  • 用户级线程的创建、撤消和调度不需要 OS 内核的支持,是在语言(如 Java)这一级处理的;而内核支持线程的创建、撤消和调度都需 OS 内核提供支持,而且与进程的创建、撤消和调度大体是相同的。
  • 用户级线程执行系统调用指令时将导致其所属进程被中断,而内核支持线程执行系统调用指令时,只导致该线程被中断。
  • 在只有用户级线程的系统内,CPU 调度还是以进程为单位,处于运行状态的进程中的多个线程,由用户程序控制线程的轮换运行;在有内核支持线程的系统内,CPU 调度则以线程为单位,由 OS 的线程调度程序负责线程的调度。
  • 用户级线程的程序实体是运行在用户态下的程序,而内核支持线程的程序实体则是可以运行在任何状态下的程序。
image

进程与线程之间的关系

  • 一个程序至少有一个进程,一个线程只能属于一个进程,而一个进程可以有多个线程,但至少有一个线程(通常说的主线程)。
    线程的划分尺度小于进程,使得多线程程序的并发性高
  • 资源分配给进程,同一进程的所有线程共享该进程的所有资源。
  • 线程在执行过程中,需要协作同步。不同进程的线程间要利用消息通信的办法实现同步。
  • 处理机分给线程,即真正在处理机上运行的是线程。
  • 线程是指进程内的一个执行单元,也是进程内的可调度实体。

进程与线程之间的区别

  1. 调度:线程作为CPU调度和分配的基本单位,进程作为资源分配的基本单位。把传统进程的两个属性分开,线程便能轻装运行,从而可显著地提高系统的并发程度。在同一进程中,线程的切换不会引起进程的切换;在由一个进程中的线程切换到另一个进程中的线程时,才会引起进程的切换。
  2. 并发性:在引入线程的操作系统中,不仅进程之间可以并发执行,同一个进程的多个线程之间也可以并发执行。因而使操作系统具有更好的并发性,从而能更有效地使用系统资源和提高系统吞吐量。
  3. 拥有资源:进程是拥有资源的一个独立单位,它可以拥有自己的资源;而线程不拥有系统资源,只拥有一点在运行中必不可少的资源(如程序计数器,一组寄存器和栈)
    但可以访问隶属于同进程拥有的全部资源
    子进程和父进程有不同的代码和数据空间,而多个线程则共享数据空间,每个线程有自己的执行堆栈和程序计数器为其执行上下文。
  4. 系统开销:由于在创建或撤消进程时,系统都要为之分配或回收资源,在进程切换时,设计整个进程当前的CPU环境的保存以及新调度到进程的CPU环境的设置,而线程切换只需保存和设置少量寄存器内容,开销很小,而且进程内多个线程共享进程地址空间多线程之间的同步与通信非常容易实现,甚至无需操作系统干预。因此,操作系统所付出的开销将显著地大于在创建或撤消线程时的开销。进程切换的开销也远大于线程切换的开销

处理器调度

实时操作系统主要的追求目标:可靠性、及时响应、快速处理。与追求系统的吞吐率、CPU 的利用效率无关。

进程调度的方式

  • 可抢占式(可剥夺式):就绪队列中一旦有某进程的优先级高于当前正在执行的进程的优先级时,操作系统便立即进行进程调度,完成进程切换。
  • 不可抢占式(不可剥夺式):即使在就绪队列存在有某进程优先级高于当前正在执行的进程的优先级时,当前进程仍将占用处理机执行,直到该进程自己进入阻塞状态,或时间片用完,或在执行完系统调用后准备返回用户进程前的时刻,才重新发生调度让出处理机。

显然,可抢占式调度可有效减少等待时间和响应时间,但会带来较大的其他管理开销,使得吞吐量等的性能指标比不可抢占式调度要低。所以一般在桌面计算机中都支持可抢占式调度,使得用户可以得到更好的人机交互体验,而在服务器领域不必非要可抢占式调度,而通常会采用不可抢占式调度,从而可提高系统的整体吞吐量。

处理器调度层次

  • 高级调度:作业调度,本质就是根据某种算法,把外存上的作业调入内存,并为之创建进程挂入就绪队列分配处理机并执行。执行完后,回收资源
    一般而言,批处理系统中才会有高级调度。
  • 中级调度:交换调度,本质就是让暂时不能运行的进程挂起,释放内存资源,并把它们调到外存上去等待。
  • 低级调度:进程调度,本质就是根据某种算法,把处理机分配给就绪进程队列中的某个进程
    进程调度首先会保存处理机现场。将程序计数器等指定寄存器中的内容保存到 PCB 中。然后将按照某种算法从就绪队列中选取进程,把处理机分配给进程。最后,把指定进程的 PCB 中的处理机现场信息恢复到处理机中,处理机分配给进程执行。

调度算法目标

1)公平;2)保持系统素有部分尽可能忙碌;

  • 批处理:1)吞吐量;2)周转时间;3)CPU 利用率。
  • 交互式:1)最小响应时间;2)均衡性。
  • 实时:1)满足截止时间;2)可预测性。

调度算法(批处理、交互式、实时)

  • 批处理系统
    • 先来先服务算法(FCFS):不可抢占调度方式,优点是公平,实现简单;缺点是不利于短作业。
    • 最短作业优先算法(SJF):不可抢占调度方式,有效地缩短进程的平均周转时间,提高系统的吞吐量,但不利于长进程的运行。
    • 最短剩余时间优先算法(SRTF):可抢占调度方式
    • 最高响应比优先算法(HRRF):介于先来先服务算法(只考虑了进程的等待时间)与最短进程优先算法(只考虑了用户估计的进程的执行时间)之间的一种折中算法。
      根据 “响应比 =(进程执行时间 + 进程等待时间)/ 进程执行时间” 这个公式得到的响应比来进行调度。
      高响应比优先算法在等待时间相同的情况下,作业执行的时间越短,响应比越高,满足段任务优先,同时响应比会随着等待时间增加而变大,优先级会提高,能够避免饥饿现象。优点是兼顾长短作业,缺点是计算响应比开销大,适用于批处理系统
  • 交互式系统
    • 优先级调度算法(HPF):在进程等待队列中选择优先级最高的来执行。
    • 轮转调度算法(RR):抢占式调度,给每个进程固定的执行时间,根据进程到达的先后顺序让进程在单位时间片内执行,执行完成后便调度下一个进程执行,时间片轮转调度不考虑进程等待时间和执行时间。
    • 多级反馈队列调度算法(MLFQ):长进程无法长期占用处理机,且系统的响应时间会缩短,吞吐量也不错(前提是没有频繁的短进程)。所以 MLFQ 调度算法是一种合适不同类型应用特征的综合进程调度算法。
      优点是兼顾长短作业,有较好的响应时间,可行性强,适用于各种作业环境;缺点是平均等待时间较长,上下文切换较费时。适用于分时系统
  • 实时调度
    • 硬实时(hard real time)调度:调度机制确保一个关键任务能在指定时间前完成
    • 软实时(soft real time)调度:调度机制尽量给予关键任务最高优先级,尽量在指定时间前完成

同步、通信与死锁

进程间通信 IPC

如何传递消息?
确保多个进程在关键活动时不会交叉
正确的顺序

为什么进程间要进行通信

  • 数据传输:一个进程需要将它的数据发送给另一个进程。
  • 资源共享:多个进程间共享同样的资源。
  • 通知事件:一个进程需要向另一个或一组进程发送消息。通知它们发送了某种事件。
  • 进程控制:有些进程希望完全控制另一个进程的执行(如Debug进程),此时控制进程希望能够拦截另一个进程的所有操作,并能够及时知道它的状态改变。

进程间的通信方式

每个进程各自有不同的用户地址空间,任何一个进程的全局变量在另一个进程中都看不到,所以进程之间要交换数据必须通过内核,在内核中开辟一块缓冲区,进程 1 把数据从用户空间拷到内核缓冲区,进程 2 再从内核缓冲区把数据读走,内核提供的这种机制称为进程间通信(IPC,InterProcess Communication)。

进程通信实质上就是进程中线程之间的通信。

进程通信就是指进程间的信息交换,交换信息可以使一个状态,也可以是很多的 byte。进程间同步互斥也存在信息的交换,因此也属于是一种 IPC,属于是低级通信。该低级通信存在的问题:1)通信的数据量太少;2)通信对用户不透明 (数据的传递或者同步互斥都需要程序员实现)

高级通信机制:

  • 信号(signal)通信机制:信号是一种比较复杂的通信方式,用于通知接收进程某个事件已经发生。只能发送单个信号而不能传送数据
  • 管道(pipeline)通信机制
    • 匿名管道(pipe):管道是一种半双工的通信方式,数据只能单向流动,需要双向通信时需要建立起两个管道;而且只能在具有亲缘关系的进程间(父子进程关系)通信。
    • 命名管道(FIFO):有名管道也是半双工的通信方式,克服了管道没有名字的限制,它允许无亲缘关系进程间的通信。
  • 消息传递(message passing)通信机制:消息队列是由消息的链表,存放在内核中并由消息队列标识符标识。有足够权限的进程可以向队列中添加消息,被赋予读权限的进程则可以读走队列中的消息。消息队列克服了信号传递信息少、管道只能承载无格式字节流以及缓冲区大小受限等缺点。
  • 信号量(semaphore)通信机制:信号量是一个计数器,可以用来控制多个进程对共享资源的访问。它常作为一种锁机制,防止某进程正在访问共享资源时,其他进程也访问该资源。因此,主要作为进程间以及同一进程内不同线程之间的同步手段。
  • 共享内存(shared memory)通信机制:共享内存就是映射一段能被其他进程所访问的内存,这段共享内存由一个进程创建,但多个进程都可以访问。共享内存是最快的 IPC 方式,它是针对其他进程间通信方式运行效率低而专门设计的。它往往与其他通信机制,如信号两,配合使用,来实现进程间的同步和通信。
  • 套接字(socket)通信机制:套解口也是一种进程间通信机制,与其他通信机制不同的是,它可用于不同及其间的进程通信。

进程间通信 IPC (InterProcess Communication)

信号通信机制

信号机制是unix系统中最为古老的进程间通信机制,很多条件可以产生一个信号:

  • 当用户按某些键时,产生信号;
  • 硬件异常产生信号,这些情况通常由硬件检测到;
  • 进程用kill函数将信号发送给另一个进程;
  • 用户可用kill命令将信号发送给其它进程。

缺点:开销太大,发送进程需要调用系统调用,这时核心会中断接收进程,且要管理它的堆栈、调用处理程序、恢复被中断的接收信号进程等。另外信号的数量受到限制,并且只能传送有限的信息量,例如不能携带参数等,所以对于复杂的通信操作不适用。

管道通信机制

匿名管道通信

特点:

  • 管道是半双工的,数据只能向一个方向流动;需要双方通信时,需要建立起两个管道;
  • 只能在具有公共祖先的两个进程之间使用;
  • 一个进程向管道中写的内容被管道另一端的进程读出。写入的内容每次都添加在管道缓冲区的末尾,并且每次都是从缓冲区的头部读出数据。如果读进程不读走管道缓冲区中的数据,那么写操作将阻塞。
  • 管道内部提供了同步机制
image
  1. 父进程调用 pipe 开辟管道,得到两个文件描述符指向管道的两端。
  2. 父进程调用 fork 创建子进程,那么子进程也有两个文件描述符指向同一管道。
  3. 父进程关闭管道写端,子进程关闭管道读端。子进程可以往管道里写,父进程可以从管道里读,管道是用环形队列实现的,数据从写端流入从读端流出,这样就实现了进程间通信。

在 linux 下,管道被非常广泛地使用,一般在编程中我们实现了 popen 等的应用即可提供管道功能。而在命令行中使用地也非常多,| 就是最为典型的管道的应用例子。shell 会为 | 符号两侧的命令各创建一个脚本,将左侧的输出管道与右侧的输入管道进行连接,可以进行单向管道通信。 比如我们使用 go env 来确认 go 语言的环境变量,然后使用 grep 从中确认出 GOROOT 环境变量的值一般会如下这样做:go env | grep GOROOT
实现的过程其实是: go env 会启动一个进程, 而 grep 命令也会产生一个进程,grep 的进程会在 go env 的标准输出中进行检索 GOROOT 的行的信息然后显示出来,而负责这两个进程间的通信的正是管道。 在 c 语言中,我们需要父进程中进行 fork 以及对父进程的基本信息进行处理,同时初期化连接的管道信息从而实现管道通信。接下来,我们来看一下在 go 语言中是如何实现的

命名管道

FIFO 是一种先进先出的队列。它类似于一个管道,只允许数据的单向流动。每个FIFO 都有一个名字,允许不相关的进程访问同一个 FIFO。因此也成为命名管道。

命名管道 (NamedPipe) 是服务器进程和一个或多个客户进程之间通信的单向或双向管道。不同于匿名管道的是:命名管道可以在不相关的进程之间和不同计算机之间使用,服务器建立命名管道时给它指定一个名字,任何进程都可以通过该名字打开管道的另一端,根据给定的权限和服务器进程通信。命名管道提供了相对简单的编程接口,使通过网络传输数据并不比同一计算机上两进程之间通信更困难,不过如果要同时和多个进程通信它就力不从心了。

命名管道不同与管道只能在具有亲缘关系的进程间通信了。它提供了一个路径名与之关联,有了自己的传输格式。

命名管道和管道的不同之处还有一点是, 有名管道是个设备文件,存储在文件系统中,没有亲缘关系的进程也可以访问,但是它要按照先进先出的原则读取数据。同样也是单双工的。

消息传递通信机制

消息队列实际上就是一个链表,而消息就是链表中具有特定格式和优先级的记录,对消息队列有写权限的进程可以根据一定规则在消息链表中添加消息,对消息队列有读权限的进程则可以从消息队列中获得所需的信息。

在某个进程往一个消息队列写入消息之前,并不需要另外某个进程在该队列上等待消息的到达。这跟命名管道是不同的,对后者来说,除非读端已经存在,否则写端的打开管道操作会一直阻塞。此外,管道和命名管道都是随进程持续的,而消息队列还有后面的信号量、共享内存都是随内核持续的。也就是说当一个管道或 FIFO 的最后一次关闭发生时,仍在该管道或 FIFO 上的数据将被丢弃。而对于消息队列来说,除非内核自举或显式删除,否则其一直存在。

与命名管道相比,消息队列的优势在于:

  • 消息队列可以独立于发送和接收进程而存在,从而消除了在同步命名管道的打开和关闭时可能产生的困难。
  • 同时通过发送消息还可以避免命名管道的同步和阻塞问题,不需要由进程自己来提供同步方法。
  • 接收程序可以通过消息类型有选择地接收数据,而不是像命名管道中那样,只能默认地接收。

信号量通信机制

为了防止出现因多个程序同时访问一个共享资源而引发的一系列问题,我们需要一种方法,它可以通过生成并使用令牌来授权,在任一时刻只能有一个执行线程访问代码的临界区域。而信号量就可以提供这样的一种访问机制,让一个临界区同一时间只有一个线程在访问它,也就是说信号量是用来协调进程对共享资源的访问的。

信号量是一个特殊的变量,程序对其访问都是原子操作,且只允许对它进行等待和发送操作,也即 P(sv) 和 V(sv),他们的行为是这样的:

  • P(sv):如果 sv 的值大于零,就给它减 1;如果它的值为零,就挂起该进程的执行;
  • V(sv):如果有其他进程因等待 sv 而被挂起,就让它恢复运行,如果没有进程因等待 sv 而挂起,就给它加 1。

最简单的信号量是只能取 0 和 1 的变量,这也是信号量最常见的一种形式,叫做互斥信号量,可以取多个正整数的信号量被称为通用信号量。

举个例子来说,如果两个进程共享互斥信号量 sv,一旦其中一个进程执行了 P(sv) 操作,它将得到信号量,并可以进入临界区,使 sv 减 1。而第二个进程将被阻止进入临界区,因为当它试图执行 P(sv) 时,sv 为 0,它会被挂起以等待第一个进程离开临界区域并执行 V(sv) 释放信号量,这时第二个进程就可以恢复执行。

共享内存通信机制

共享内存就是允许两个不相关的进程访问同一个逻辑内存。共享内存是在两个正在运行的进程之间共享和传递数据的一种最有效的方式,不同进程之间共享的内存通常安排为同一段物理内存。进程可以将同一段共享内存连接到它们自己的地址空间中,所有进程都可以访问共享内存中的地址,就好像它们是由用 C 语言函数 malloc 分配的内存一样。而如果某个进程向共享内存写入数据,所做的改动将立即影响到可以访问同一段共享内存的任何其他进程。

image

注意共享内存并未提供同步机制,也就是说,在第一个进程结束对共享内存的写操作之前,并无自动机制可以阻止第二个进程开始对它进行读取。所以通常需要用其他的机制来同步对共享内存的访问,例如前面说到的信号量。

采用共享内存通信的一个显而易见的好处是效率高,因为进程可以直接读写内存,而不需要任何数据的拷贝。对于像管道和消息队列等通信方式,则需要在内核和用户空间进行四次的数据拷贝,而共享内存则只拷贝两次数据:一次从输入文件到共享内存区,另一次从共享内存区到输出文件。

套接字通信机制

Socket 通信,不仅仅是一台主机上的两个进程可以进行通信,还可以让处在因特网中的两个进程进行通信。在两个进程进行通信的时候,首先本地的进程在运行的时候会绑定一个端口,然后我们本地为该进程生成一个缓冲区,返回一个值,即为 socket 作为对其进行标记,每当本地进程和远程一个进程建立连接的时候,就会根据远程进程的信息和本地进程的信息生成一个 socket,然后双方借助于 socket 就可以进行通信,运输层得到的数据写入 socket 标志的缓冲区,然后在里面进行相应的操作之后将其提交给网络层。相比其它的几种处理方式,该中方式比较麻烦。多于服务端,通过 listen 阻塞监听,监听到有连接请求,通过 accept 函数得到一个本地与之对应的缓冲区,然后创建一个进程用来和该连接进行交互,然后通过 receive 来接收信息。

解决并发的方案

需要满足 4 个条件:

  • 空闲让进
  • 忙则等待
  • 有限等待
  • 让权等待(阻塞的进程把 CPU 让给其他进程)

经典的进程同步问题

生产者 - 消费者问题;哲学家进餐问题;读者 - 写者问题

死锁

死锁的概念

死锁:当某进程提出资源申请后,使得系统中一些进程处于无休止的阻塞状态,在无外力作用下,永远不能再继续前进。

产生死锁的根本原因:资源有限且操作不当。

产生死锁的必要条件

  • 互斥条件:某段时间内某资源只能由一个进程使用。
  • 占有和等待条件:进程因请求资源而阻塞时,对已分配给它的资源保持不放。
  • 不剥夺条件:资源在未使用完前,不能被剥夺,由使用进程释放。
  • 循环等待条件:发生死锁时,有向图必构成一环路。

解决死锁的方法

死锁防止:破坏四个条件
死锁避免:银行家算法
死锁的检测和恢复:死锁检测算法

死锁例题

  • 一个计算机有 6 台可互换使用的磁带机,由 n 个进程竞争使用,每一个进程在一段时间内需要独占两台磁带机进行使用,n 最多为 5 时系统一定不会发生死锁。

这种题的解法一般都是从最坏的角度出发:即假设有很多进程来申请磁带机,假设已经有 5 个进程,一个进程申请了一个磁带机,那么还剩下一个磁带机,此时刚刚的 5 个进程中的任意一个还可以再申请一个磁带机即可满足运行条件。但是如果一开始就有 6 个进程,一个进程申请一个磁带机的话,那么就没有剩下的磁带机了,所以这时候谁都不能运行,所以,最多不能超过 5 个。

  • 某系统中有 11 台打印机,N 个进程共享打印机资源,每个进程要求 3 台,当 N 不超过 5 时,系统不会发生死锁。

思路和上面的一样,考虑最坏的情况,有 5 个进程均申请了 2 台打印机,那么此时 5 个进程中的任一进程再申请一台打印机即可正常运行。但是如果 N=6,那么假设有 5 个进程申请了 2 台打印机,一个进程申请了一台打印机,此时已经没有剩余的打印机了,现在谁都不能继续运行。

多道程序设计中,进程间存在的制约关系有哪些?

同步:某一进程收不到另一进程给他的必要信息,就不能继续运行下去,这种制约关系源于进程间的合作。 互斥:某一进程要求使用某资源,而该资源正被另一进程使用,并且这以资源不许两进程同时使用,那么进程只好等占用资源进程释放资源后才能占有使用。

高级通信机制与低级通信机制PV操作的区别是什么?简述消息缓冲队列的工作原理。

PV操作时指进程之间通过共享变量实现信息传递;而高级通信机制是由系统提供发送(sender)与接收(receive)两个操作,进程间通过这两个操作进行通信,无需贡献任何变量。基本原理:操作系统管理一个用于进程通信的缓冲池,其中的每一个缓冲区单元咳存放一条信息。发送消息时,发送者从中申请一个可用缓冲区,接受者取出一条信息时再释放该缓冲区,每个进程均设置一条消息队列,任何发送给该进程的消息均暂存在其中。

存储管理

存储器工作原理

存储器功能

  • 存储分配与回收:为每道程序分配内存空间;提高内存利用率;允许动态申请内存空间。
  • 地址映射:在多道程序环境下,程序中的逻辑地址与内存中的物理地址不可能一致,因此必须提供地址变换功能,将用户的逻辑地址转换成主存的物理地址,实现重定位,确保程序正常运行。
  • 存储保护:每道程序都只在自己的内存空间内运行,互不干扰。
  • 存储共享:
  • 存储扩充:借助于虚拟存储技术,从逻辑上去扩充内存容量。

程序装入和链接

创建进程首先要将程序和数据装入内存。将用户源程序变为可在内存中执行的程序,通常需要以下几个步骤:

编译:由编译程序将用户源代码编译成若干个目标模块。
链接:由链接程序将编译后形成的一组目标模块,以及所需库函数链接在一起,形成一个完整的装入模块。
装入:由装入程序将装入模块装入内存运行。

重定位

重定位的概念

由于一个作业装入到与其地址空间不一致的存储空间,对有关地址部分的调整过程称为重定位。现在一般计算机系统中都采用动态重定位方法。

为什么要重定位?

我们写正常程序的时候根本不用去关心变量的位置,因为源程序在编译的时候它的内存中的位置郡被计算好了。程序装入内存时,系统不会为它重定位。我们需要用到变量 的时候直接用变量名访问它就行了。有的程序不可避免也要用到变量,各个变量 在内存中的位置自然也不相同。既然这些变量没有固定的地址,那么程序在运行的过程中只有重定位,才可以正常地访问相关资源。

重定位方式

对程序进行重定位的技术按重定位的时机可分为两种:静态重定位和动态重定位。

  • 静态重定位:是在目标程序装入内存时,由装入程序对目标程序中的指令和数据的地址进行修改,即把程序的逻辑地址都改成实际的地址。对每个程序来说,这种地址变换只是在装入时一次完成,在程序运行期间不再进行重定位。

    • 优点:是无需增加硬件地址转换机构,便于实现程序的静态连接。在早期计算机系统中大多采用这种方案。
    • 缺点:(1)程序的存储空间只能是连续的一片区域,而且在重定位之后就不能再移动。这不利于内存空间的有效使用。(2)各个用户进程很难共享内存中的同一程序的副本。
  • 动态重定位:是在程序执行期间每次访问内存之前进行重定位,即逐条指令执行时完成地址转换。这种变换是靠硬件地址变换机构实现的。通常采用一个重定位寄存器,其中放有当前正在执行的程序在内存空间中的起始地址,而地址空间中的代码在装入过程中不发生变化。

    • 优点:(1)程序占用的内存空间动态可变,不必连续存放在一处。(2)比较容易实现几个进程对同一程序副本的共享使用。
    • 缺点:是需要附加的硬件支持,增加了机器成本,而且实现存储管理的软件算法比较复杂。
      动态重定位是在作业运行时执行到一条访存指令时再把逻辑地址转换为主存中的物理地址,实际中是通过硬件地址转换机制实现的。

连续存储管理

单一连续存储管理

在这种管理方式中,内存被分为两个区域:系统区和用户区。应用程序装入到用户区,可使用用户区全部空间。其特点是,最简单,适用于单用户、单任务的操作系统。CP/M 和 DOS 2.0 以下就是采用此种方式。这种方式的最大优点就是易于管理。但也存在着一些问题和不足之处,例如对要求内存空间少的程序,造成内存浪费;程序全部装入,使得很少使用的程序部分也占用—定数量的内存。

固定分区存储管理

原理

把内存空间划分为数量和大小固定不变的连续分区,各分区大小不等,每个分区只装入一个作业,若多个分区中都装有作业,则它们可以并发执行,这样就支持多道程序设计。

设置一张内存分配表,记录内存中划分的分区及其使用情况。内存分配表指出各分区起始地址和长度,占用标志用来指示此分区是否被使用。

内存分配时总是选择那些占用标志为0的未被占用分区,当某分区被分配给一个长度小于等于分区长度的作业后,则在占用标志中填入占用此分区的作业名。

当分区中的程序执行结束归还内存区时,相应分区的占用标志置0,其占用的分区又变成空闲,可被重新分配使用。

优缺点

优点:易于实现,开销小;能解决单道程序运行在并发环境下与CPU速度不匹配内存空间利用率低的问题。

缺点:内碎片问题;存储器利用率极低;大作业无法装入;分区总数固定,很难动态扩充内存空间;分区数目在系统初始化时指定,限制了并发执行的程序数目。

可变分区存储管理

原理

动态创建分区:在装入程序时按其初始要求分配,或在其执行过程中根据作业大小通过系统调用进行分配或改变分区大小。

动态分区的分区分配就是寻找某个空闲分区,其大小需大于或等于程序的要求。若是大于要求,则将该分区分割成两个分区,其中一个分区为要求的大小并标记为 “占用”,而另一个分区为余下部分并标记为 “空闲”。分区分配的先后次序通常是从内存低端到高端。动态分区的分区释放过程中有一个要注意的问题是,将相邻的空闲分区合并成一个大的空闲分区。

优缺点

优点:没有内碎片。

缺点:外碎片问题。

可变分区分配算法

  • 最先适应法(first fit):按分区在内存的先后次序从头查找,找到符合要求的第一个分区进行分配。该算法的分配和释放的时间性能较好,较大的空闲分区可以被保留在内存高端。但随着低端分区不断划分会产生较多小分区,每次分配时查找时间开销便会增大。
  • 下次适应法(next fit):按分区在内存的先后次序从上次分配的分区起查找,找到符合要求的第一个分区进行分配。该算法的分配和释放的时间性能较好,使空闲分区分布得更均匀,但较大空闲分区不易保留。
  • 最优适应法(best fit):按分区在内存的先后次序从头查找,找到其大小与要求相差最小的空闲分区进行分配。从个别来看,外碎片较小;但从整体来看,会形成较多外碎片优点是较大的空闲分区可以被保留。
  • 最坏适应法(worst fit):按分区在内存的先后次序从头查找,找到最大的空闲分区进行分配。基本不留下小空闲分区,不易形成外碎片。但由于较大的空闲分区不被保留,当对内存需求较大的进程需要运行时,其要求不易被满足。
  • 快速应法 (quick fit):为那些经常用到的长度的空闲区设立单独的空闲区链表。

内存不足的存储管理技术(碎片整理)

  • 移动技术:把已在内存中的进程分区连接到一起,使分散的空闲区汇集成片,也叫内存紧凑。
  • 对换技术:在某个进程在不被使用(阻塞)或在CPU调度原则下被剥夺运行权利的时候,被暂时移出内存,腾出空间给其他进程使用,同时交换到磁盘中,此时处于就绪状态,需要时再加载回来
  • 覆盖技术:一个程序的几个代码段或数据段,按照时间先后来占用公共的内存空间。将程序必要部分(常用功能)的代码和数据常驻内存;可选部分(不常用功能)平时存放在外存(覆盖文件)中,在需要时才装入内存。不存在调用关系的模块不必同时装入到内存,从而可以相互覆盖。

交换技术主要是在不同进程(或作业)之间进行,而覆盖则用于同一个程序或进程中。由于覆盖技术要求给出程序段之间的覆盖结构,使得其对用户和程序员不透明,所以对于主存无法存放用户程序的矛盾,现代操作系统是通过虚拟内存技术来解决的,覆盖技术则已成为历史;而交换技术在现代操作系统中仍具有较强的生命力。

分页存储管理

非连续分配允许一个程序分散地装入到不相邻的内存分区中,根据分区的大小是否固定分为分页存储管理方式和分段存储管理方式。

原理

  • 将用户进程地址空间(进程的虚拟空间)划分为大小相等的部分,称为“页”或“页面”。
  • 将内存空间按同样的大小划分为大小相等的部分,称为“页框”或“物理页”。
  • 然后把页式虚拟地址与内存地址建立一一对应的页表,并用相应的硬件地址转换机构来解决离散地址变换问题。
  • 内存分配规则:以页为单位进行分配,并按进程需要的页数来分配。逻辑上相邻的页物理上不一定相邻。
  • 页式管理采用请求调页预调页技术来实现内外存存储器的统一管理。

把主存空间划分为大小相等且固定的块,块相对较小,作为主存的基本单位。每个进程也以块为单位进行划分,进程在执行时,以块为单位逐个申请主存中的块空间。

因为程序数据存储在不同的页面中,而页面又离散的分布在内存中,因此需要一个页表来记录逻辑地址和实际存储地址之间的映射关系,以实现从页号到物理块号的映射。

由于页表也是存储在内存中的,因此和不适用分页管理的存储方式相比,访问分页系统中内存数据需要两次的内存访问 (一次是从内存中访问页表,从中找到指定的物理块号,加上页内偏移得到实际物理地址;第二次就是根据第一次得到的物理地址访问内存取出数据)。

为了减少两次访问内存导致的效率影响,分页管理中引入了快表机制,包含快表机制的内存管理中,当要访问内存数据的时候,首先将页号在快表中查询,如果查找到说明要访问的页表项在快表中,那么直接从快表中读取相应的物理块号;如果没有找到,那么访问内存中的页表,从页表中得到物理地址,同时将页表中的该映射表项添加到快表中 (可能存在快表换出算法)。

在某些计算机中如果内存的逻辑地址很大,将会导致程序的页表项会很多,而页表在内存中是连续存放的,所以相应的就需要较大的连续内存空间。为了解决这个问题,可以采用两级页表或者多级页表的方法,其中外层页表一次性调入内存且连续存放,内层页表离散存放。相应的访问内存页表的时候需要一次地址变换,访问逻辑地址对应的物理地址的时候也需要一次地址变换,而且一共需要访问内存 3 次才可以读取一次数据。

快表

什么是快表?它在地址转换中起什么作用?
快表是一个高速、具有并行查询能力的联想存储器,用于存放正运行的进程的当前页号和块号,或者段号和段起始地址。
加入快表后,在地址转换时,首先在快表中查找,若找到就直接进行地址转换;未找到,则在主存页表继续查找,并把查到的页号和块号放入联想存储器中。快表的命中率很高,有效地提高了地址转换的速度。

优缺点

优点:没有外碎片,每个内碎片不超过页的大小。
缺点:程序的最后一页会有浪费空间的现象,不能应用在分段编写的、非连续存放的大型程序中。
程序全部装入内存,要求有相应的硬件支持,如地址变换机构缺页中断的产生和选择淘汰页面等都要求有相应的硬件支持。增加了机器成本和系统开销。

分段存储管理

原理

一个用户作业或者进程所包含的段对应一个二维线性虚拟空间,也就是一个二维虚拟存储器。

  • 用户进程地址空间:按程序自身的逻辑关系划分为若干个程序段,每个程序段都有一个段名。
  • 内存空间:被动态划分为若干个长度不相同的区域,称为“物理段”,每个物理段由起始地址和长度确定。
  • 内存分配规则:以段为单位进行分配,每段在内存中占据连续空间,但各段之间可以不相邻。然后通过地址映射机构把段式虚拟地址转换为实际内存物理地址。

分页是为了提高内存利用率,而分段是为了满足程序员在编写代码的时候的一些逻辑需求(比如数据共享,数据保护,动态链接等)。

分段内存管理当中,地址是二维的,一维是段号,一维是段内地址;其中每个段的长度是不一样的,而且每个段内部都是从 0 开始编址的。由于分段管理中,每个段内部是连续内存分配,但是段和段之间是离散分配的,因此也存在一个逻辑地址到物理地址的映射关系,相应的就是段表机制。段表中的每一个表项记录了该段在内存中的起始地址和该段的长度。段表可以放在内存中也可以放在寄存器中。

访问内存的时候根据段号和段表项的长度计算当前访问段在段表中的位置,然后访问段表,得到该段的物理地址,根据该物理地址以及段内偏移量就可以得到需要访问的内存。由于也是两次内存访问,所以分段管理中同样引入了联想寄存器。

优缺点

优点:可以分别编写和编译,可以针对不同类型的段采取不同的保护,可以按段为单位来进行共享,包括通过动态链接进行代码共享。
缺点:会产生碎片。

分段分页方式的比较

页是信息的物理单位,是出于系统内存利用率的角度提出的离散分配机制;段是信息的逻辑单位,每个段含有一组意义完整的信息,是出于用户角度提出的内存管理机制。

页的大小是固定的,由系统决定;段的大小是不确定的,由用户决定。

段页式存储管理

原理

系统必须为每个作业或者进程建立一张段表以管理内存分配与释放、缺段处理等。另外由于一个段又被划分为若干个页,每个段必须建立一张页表以把段中的虚页变换为内存中的实际页面。显然与页式管理时相同,页表也要有相应的实现缺页中断处理和页面保护等功能的表项。

优缺点

段页式管理是段式管理和页式管理相结合而成,具有两者的优点。

由于管理软件的增加,复杂性和开销也增加。另外需要的硬件以及占用的内存也有所增加,使得执行速度下降。

在分页、分段和段页式存储管理中,当访问一条指令时,需要访问内存几次各做什么操作?

在分页和分段系统中,首先需要访问页表或段表,然后才能访问实际数据,因此需要至少访问内存 2 次。
在段页式存储管理中,首先要访问段表,最后访问相关段的页表,最后才能访问实际数据,因此一共需访问内存至少 3 次。
如果采用的是多级页表,则访问次数还将增加。如果使用快表,且在快表中命中,则只需要访问内存 1 次。

在固定分区管理、动态分区管理、分页存储管理、分段存储管理中,各会产生何种碎片?

答:在固定分区管理中,每个分区内都可能存在碎片;

在动态分区管理中,会存在一些很小的,不足以任何应用程序使用的小碎片; 在分页存储管理中,每个应用程序的最后一页可能存在碎片。

在分段存储管理中,可能存在小的内存区,不足以存放应用程序的一个连续的段,形成碎片。

在内存管理中,“内零头” 和 “外零头” 个指的是什么?在固定式分区分配、可变式分区分配、页式虚拟存储系统、段式虚拟存储系统中,各会存在何种零头?为什么?
解答:
在存储管理中,内零头是指分配给作业的存储空间中未被利用的部分,外零头是指系统中无法利用的小存储块。

在固定式分区分配中,为将一个用户作业装入内存,内存分配程序从系统分区表中找出一个能满足作业要求的空闲分区分配给作业,由于一个作业的大小并不一定与分区大小相等,因此,分区中有一部分存储空间浪费掉了。由此可知,固定式分区分配中存在内零头。

在可变式分区分配中,为把一个作业装入内存,应按照一定的分配算法从系统中找出一个能满足作业需求的空闲分区分配给作业,如果这个空闲分区的容量比作业申请的空间容量要大,则将该分区一分为二,一部分分配给作业,剩下的部分仍然留作系统的空闲分区。由此可知,可变式分区分配中存在外零头。

在页式虚拟存储系统中,用户作业的地址空间被划分成若干大小相等的页面,存储空间也分成也页大小相等的物理块,但一般情况下,作业的大小不可能都是物理块大小的整数倍,因此作业的最后一页中仍有部分空间被浪费掉了。由此可知,页式虚拟存储系统中存在内零头。在段式虚拟存储系统中,作业的地址空间由若干个逻辑分段组成,每段分配一个连续的内存区,但各段之间不要求连续,其内存的分配方式类似于动态分区分配。

由此可知,段式虚拟存储系统中存在外零头。

基本内存管理方案小结

虚拟存储管理

局部性原理

程序的局部性原理:指程序在执行过程中的一个较短时期,所执行的指令地址和指令的操作数地址,分别局限于一定区域。这可以表现为:

  • 时间局部性:一条指令的一次执行和下次执行,一个数据的一次访问和下次访问都集中在一个较短时期内。即如果程序中的某条指令一旦执行,不久以后该指令可能再次执行;如果某数据被访问过,不久以后该数据可能再次被访问。产生时间局部性的典型原因,是由于在程序中存在着大量的循环操作。
  • 空间局部性:当前指令和邻近的几条指令,当前访问的数据和邻近的几个数据都集中在一个较小区域内。即一旦程序访问了某个存储单元,在不久之后,其附近的存储单元也将被访问,即程序在一段时间内所访问的地址,可能集中在一定的范围之内,这是因为指令通常是顺序存放、顺序执行的,数据也一般是以向量、数组、表等形式簇聚存储的。

时间局部性是通过将近来使用的指令和数据保存到高速缓存存储器中,并使用高速缓存的层次结构实现。
空间局部性通常是使用较大的高速缓存,并将预取机制集成到高速缓存控制逻辑中实现。

虚拟内存技术实际上就是建立了 “内存一外存” 的两级存储器的结构,利用局部性原理实现髙速缓存。

虚拟存储器的概念及特点

虚拟存储器是一种存储管理技术,用以完成用小的内存实现在大的虚空间中程序的运行工作。它是由操作系统提供的一个假想的特大存储器。但是虚拟存储器的容量并不是无限的,它由计算机的地址结构长度所确定,另外虚存容量的扩大是以牺牲CPU工作时间以及内、外存交换时间为代价的。

虚存技术的特征

  • 大的用户空间:通过把物理内存与外存相结合,提供给用户的虚拟内存空间通常大于实际的物理内存,即实现了这两者的分离。
  • 虚拟扩充:即不是物理上而是逻辑上扩充了内存容量。
  • 部分装入:即每个作业不是全部一次性地装入内存,而是只装入一部分。
  • 离散分配(不连续性):即不必占用连续的内存空间,而是“见缝插针”。
  • 多次对换:即所需的全部程序和数据要分成多次调入内存。

虚拟存储器的容量主要受到指令中表示地址的字长和外存的容量的限制。

虚存技术的目标

  • 像覆盖技术那样,不是把程序的所有内容都放在内存中(部分装入),因而能够运行比当前的空闲内存空间还要大的程序。但做得更好,由操作系统自动完成而无须程序员的干涉。
  • 像交换技术那样,能够实现进程在内存与外存之间的交换,因而获得更多的空闲内存空间。但做得更好,只对进程的部分内容进行交换。(交换技术的粒度是以一个程序为单位,虚存以更小的粒度实现)

虚存技术的实现

在页式或段式内存管理的基础上实现。

  • 在装入程序时,不必将其全部装入到内存,则只需将当前需要执行的部分页面或段装入到内存,就可以让程序开始执行;
  • 在程序执行过程中,如果需执行的指令或访问的数据尚未在内存(称为缺页或缺段),则由处理器通知操作系统将相应的页面或段调入到内存,然后继续执行程序;
  • 另一方面,操作系统将内存中暂时不使用的页面或段调出保存在外存上,从而腾出更多空闲空间存放将要装入的程序以及将要调入的页面或段。
虚拟页式内存管理

在页式存储管理的基础上,增加请求调页和页面置换功能。

主存空间信息保护

  1. 程序执行时访问属于自己主存区域的信息,允许它既可读,又可写;
  2. 对共享区域中的信息只可读,不可修改;
  3. 对非共享区域或非自己的主存区域中的信息既不可读,也不可写。

设备管理

设备管理的功能

  • 管理所有外围设备,包括完成用户的 IO 请求
  • 为用户进程分配 IO 设备
  • 提高 IO 设备利用率
  • 提高 IO 速度
  • 方便 IO 的使用

I/O硬件原理

I/O设备的分类

  • 独占设备:在一段时间内只能有一个进程使用的设备,一般为低速I/O设备(如打印机,磁带等)
  • 共享设备:在一段时间内可由多个进程共同使用的设备,多个进程以交叉的方式来使用设备,其资源利用率高(如硬盘)
  • 虚拟设备:在一类设备上模拟另一类设备,常用共享设备模拟独占设备,用高速设备模拟低速设备,被模拟的设备称为虚设备。其目的就是将慢速的独占设备改造成多个用户可共享的设备,提高设备的利用率。如SPOOLing技术,利用虚设备技术(用硬盘模拟输入输出设备)

设备管理的主要功能

在现代的操作系统中,设备管理的任务主要有以下几个方面。

  • 根据用户提出的要求对 I/O 设备进行控制,完成用户提出的输入 / 输出要求。
  • 由于现代的操作系统允许多个进程的并发执行,为了有效地分配设备资源,要求设备管理能够根据设备请求的情况,按照一定的算法实现对某个 I/O 设备进行合理分配。
  • 当计算机系统屮有种类繁多的 I/O 设备时,要求设备管理能够充分而有效地使用这些设备,尽可能提高它们与 CPU 的并行操作程度。

针对上述的任务需求,设备管理应具有以下功能:

  • 缓冲管理:CPU 与设备之间、设备与设备之间交换信息时,需要利用缓冲区来缓解速度不匹配的矛盾,提高 CPU 与设备之间、设备与设备之间操作的并行程度。
  • 设备分配:系统根据进程所请求的设备,按分配算法对设备和设备相应的控制器和通道进行分配,建立从设备到内存之间传输信息的通路。在进程的 I/O 完成后,系统应及时回收设备,以便重新分配给其他进程使用。将未获得所需设备的进程放进相应设备的等待队列中。
  • 设备驱动:逻辑设备名转换成设备的物理地址,启动指定的 I/O 设备,完成程序规定的 I/O 操作,并对由设备发来的中断请求进行及时响应,根据中断类型进行相应的处理。
  • 设备无关性: 用户在编制程序时,不直接使用实际的设备名而使用逻辑设备名。有利于解决设备的故障和增加设备分配的灵活性。
  • 虚拟设备:一次仅允许一个进程使用的设备称为独占设备。独占设备不仅降低了系统的设备利用率,而且可能产生死锁。虚拟设备能被多个进程共享,提高了设备的利用率,并且防止了死锁。关于虚拟设备的实现以后章节将详细讨论。

I/O控制方式

设备管理的主要任务之一是控制设备和内存或者处理机之间的数据传送。

  • 轮询方式
  • 中断方式
  • DMA方式
  • 通道方式

轮询方式

CPU 需要时刻对外设设备状态进行循环检查,直到确定该字已经在 I/O 控制器的数据寄存器中。CPU 和设备只能串行工作,CPU 效率相当低。

中断方式

允许 I/O 设备主动打断 CPU 的运行并且请求服务,使得其向 I/O 控制器发送读命令。

DMA方式

直接存储读取在 I/O 设备和内存之间加上 DMA 控制器使得数据进行直接传输而不经过 CPU。

通道方式

I/O 通道是指专门负责输入 / 输出的处理机,因此属于硬件技术。
CPU 要完成一组相关的读写操作以及有关控制时候,向 I/O 通道发送一条 I/O 指令,给出所要执行的通道程序的首地址和要访问的 I/O 设备,通道接受指令后,执行通道程序完成 CPU 指定的 I/O 任务,数据传送结束时向 CPU 发送中断请求。
通道方式由通道控制传输的数据块大小以及传输的内存位置,一个通道可以控制多台设备与内存的数据交换。

I/O软件原理

设备独立性

设备独立性即应用程序独立于使用的物理设备,在应用程序中使用逻辑设备名称来请求使用某类设备。系统在执行时,是使用物理设备名称。

要实现设备独立性必须由设备独立性软件完成,包括执行所有设备的公有操作软件提供统一的接口,其中逻辑设备到物理设备的映射是由逻辑设备表LUT完成的。

I/O软件的分层结构

共有5层,从底到高依次是硬件->中断处理程序->设备驱动程序->设备独立性软件->用户层I/O软件。

  • 中断处理程序:用于保存被中断进程的CPU环境,转入相应的中断处理程序进行处理,处理完后恢复现场,并返回到被中断的进程
  • 设备驱动程序:与硬件直接有关,用来具体实现系统对设备发出的操作指令,驱动I/O设备工作
  • 设备独立性软件/独立于设备的I/O软件:用于实现用户程序与设备驱动器的统一接口、设备命令、设备保护,以及设备分配与释放等。
  • 最高层:用于实现用户与I/O设备交互

I/O软件的主要功能

通常将 I/O 软件组织成四个层次:用户应用层软件、中断处理程序、独立于设备的软件和设备驱动程序。
I/O 软件包括 I/O 设备驱动软件和设备无关软件。设计 I/O 软件的一个最关键的目标是设备无关性,I/O 设备管理软件采用分层构造,每一层的软件都有自己独立的功能,最低层软件与硬件的细节密切相关,并对高层软件隐藏了硬件的具体特性,I/O 软件除了直接与设备打交道的低层软件之外,其他部分的软件并不依赖于硬件。

I/O软件的处理过程

采用分层思想,当用户进程提出 I/O 请求访问硬件时,需要按:进程请求 I/O→独立于设备的软件→设备驱动程序→中断处理程序→硬件的层次结构进行。

缓冲技术

缓冲引入的原因

  • 缓和CPU与I/O设备间速度不匹配的矛盾
  • 减少对CPU的中断频率,放宽对CPU中断响应时间的限制
  • 提高CPU和I/O设备之间的并行性
  • 解决数据粒度不匹配的问题

缓冲的实现方式

软缓冲的种类

系统调用的处理步骤

首先,将处理机状态由用户态转为系统态;之后由硬件和内核程序进行系统调用的一般处理;然后将用户定义的参数传送到指定的地址并保存起来。
其次,分析系统调用类型,转入相应的系统调用处理子程序。
最后,恢复被中断的或设置新进程的CPU现场,然后返回被中断进程或新进程,继续往下执行。

驱动调度技术

设备驱动程序的功能、特点

磁盘访问时间包括什么?

磁盘访问时间由:寻道时间、旋转延迟时间和数据传输时间三部分构成。

磁盘调度算法

计算平均寻道长度

设备分配

设备独立性

设备分配考虑的因素

设备分配技术

虚拟设备

Spooling技术的组成、特点、举例

概念

SPOOLing技术又称假脱机技术,是一种虚拟设备技术,它可以把一台独占设备改造成为虚拟设备,在进程所需的物理设备不存在或被占用的情况下,使用该设备。SPOOLING技术是对脱机输入,输出系统的模拟,又称为假脱机操作。它是一种用空间换取时间的资源转换技术。

组成

image

SPOOLINGing 系统主要由三部分组成:输入井和输出井、输入缓冲区和输出缓冲区、输入进程和输出进程。

  1. 输入井和输出井: 输入井和输出井的存储区域是在磁盘上开辟出来的。输入输出井中的数据一般以文件的形式组织管理,这些文件称之为井文件。一个文件仅存放某一个进程的输入或输出数据,所有进程的数据输入或输出文件链接成为一个输入输出队列。
  2. 输入缓冲区和输出缓冲区: 输入缓冲区和输出缓冲区的存储区域是在内存中开辟出来的。主要用于缓和 CPU 和磁盘之间速度不匹配的矛盾。输入缓冲区用于暂存有输入设备传送的数据,之后再传送到输入井;输出缓冲区 同理。
  3. 输入进程和输出进程: 输入进程也称为预输入进程,用于模拟脱机输入时的外围控制机,将用户要求的数据从输入设备传送到输入缓冲区,再存放到输入井。当 CPU 需要的时候,直接从输入井将数据读入内存。反之,输出的同理。
  4. 井管理程序: 用于控制作业与磁盘井之间信息的交换。

原理

image

在多道系统中,对于每一个独占的设备,专门利用一道程序,即 SPOOLing 程序,来完成对这个设备的输入输出操作。

一方面,SPOOLing 程序负责与这个独占的 I/O 设备进行数据交换,这可以成为 “实际的 I/O”。如果这是一个输入设备,那么 SPOOLing 程序预先从该设备输入数据并加以缓冲,然后在需要时再交给应用程序。如果这是一个输出设备,那么 SPOOLing 程序会接受应用程序的输出数据并加以缓冲,然后在适当的时候再输出到该设备。
另一方面,应用程序在进行 I/O 操作时,只是与 SPOOLing 程序交换数据,这可以称为 “虚拟的 I/O”。

输入值班进程 SPi 模拟 SPOOLing 输入时的外围控制机的功能。控制输入设备经输入缓冲区把用户的数据传送到备用存储器的输入井中,当用户进程需要输入数据时,直接将输入井中预存的输入数据读入内存,提供给用户进程使用。
输出值班进程 SPo 模拟 SPOOLing 输出时的外围控制机的功能。把用户进程的输出数据传送到备用存储器的输出井中,形成输出请求队列。控制输出井中的数据传送到低速的输出设备。

优点

所有字符设备都是独占设备并属于慢速设备,因此,当一个进程在某台字符设备上进行数据交换时,往往要等待较长时间,并且在此进程未释放该设备之前,其他进程不能同时访问这台设备,从而使这类设备成为系统中的瓶颈资源,使许多进程因等待它们而阻塞。另一方面,分配到字符设备的进程,在其整个运行期间,往往占有这些设备,却并不是经常使用这些设备,因而使这些设备的利用率很低。从而降低了整个系统的性能。 Spooling技术正是针对上述问题提出的一种技术。

  • 提高I/O的速度:应用程序的虚拟 I/O 比实际的 I/O 速度要快,因为它只是在两个进程之前的一种通信,把数据从一个进程交给另一个进程。这种数据交换是在内存中进行的,而不是真正地让机械的物理设备去运作。这就缩短了应用程序的执行时间。对数据执行的 I/O 操作,已从对低速 I/O 设备执行的 I/O 操作演变为对磁盘缓冲区中数据的存取,如同脱机输入输出一样,提高了 I/O 速度,缓和了 CPU 和低速的 I/Os 设备之间速度的不匹配的矛盾。
  • 实现对独占设备的共享:由 SPOOLing 程序提供虚拟设备,然后各个用户进程就可以对这个独占设备依次地共享使用。因为在假脱机打印机系统中,实际上并没有为任何进程分配设备,而只是在磁盘缓冲区中为进程分配了一个空闲盘块和建立了一张 I/O 请求表。
  • 实现了虚拟设备功能: 宏观上,对于每一个进程而言,它们认为是自己独占了一个设备,即使实际上是多个进程在同时使用一台独占设备。也可以说假脱机系统实现了将独占设备变换为若干台对应的逻辑设备的功能。

例子

打印机就是一种独占设备,在任何时候只能允许一个用户进程使用。在现代操作系统中,对于打印机设备,普遍采用了 SPOOLing 技术。具体来说,首先创建一个 SPOOLing 进程,或称后台打印程序,以及一个 SPOOLing 目录。当一个进程需要打印一个文件时,首先会生成将要打印的文件,并把它放入到 SPOOLing 目录中,然后由这个后台打印进程来负责真正的打印操作。

文件管理

文件管理的意义

由于系统的内存有限并且不能长期保存,故平时总是把它们以文件的形式存放在外存中,需要时再将它们调入内存。

文件系统的功能

文件系统的主要作用是用于明确磁盘或分区上的文件的方法和数据结构,即在磁盘上组织文件的方法。

  • 存储和管理文件:如创建/删除文件,对文件的各种操作等
  • 目录管理:如创建/删除目录项,权限验证等
  • 文件存储空间的管理:如外存空间的分配与回收
  • 文件共享和保护
  • 提供方便的接口:如实现按名存取,文件系统调用等

文件

文件是具有文件名的一组相关元素的集合,分为有结构文件和无结构文件。

文件的逻辑结构及分类

  • 无结构文件
  • 有结构文件
    • 顺序文件
    • 索引文件
    • 索引顺序文件
    • 散列文件

文件的物理结构及分类

  • 顺序结构
  • 链接结构
    • 隐式链接
    • 显式链接:FAT表
    • 索引结构

文件存储空间的管理方法

  • 空闲表法
  • 空闲链表法
  • 位示图

文件目录

目录管理的要求

文件控制块

索引节点

成组链接法的空闲盘快的组织、分配回收过程

文件系统目录结构

为了给用户提供对文件的存取控制及保护功能,而按一定规则对系统中的文件名,(亦可包含文件属性)进行组织所形成的表,称为目录表或文件目录。目前操作系统采用的目录结构是树型目录结构,它的优点有:有效地提高对目录的检索速度;允许文件重名;便于实现文件共享。

文件分配的方法/数据块组织方式

  • 连续方式:一次写入不存在插入问题,而且写入文件之后不需要修改,连续的数据块组织方式很适合一次性写入磁盘不再修改的情况,同时连续存储相对链式和索引省去了指针的空间开销,支持随机查找,查找速度最快。
  • 链接块方式:
  • 索引方式:

参考资料

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,013评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,205评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,370评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,168评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,153评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,954评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,271评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,916评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,382评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,877评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,989评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,624评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,209评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,199评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,418评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,401评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,700评论 2 345