1、Linux内存页管理

Linux内核管理物理内存是通过分页机制实现的，它将整个内存划分成4K大小页，作为使分配和回收内存的基本单位。在分配内存时尽量分配连续内存，避免TLB的刷新率过高。故此Linux采用了“伙伴“关系来管理空闲页框。因此空闲页面分配时也需要遵循伙伴关系。最小单位是2的幂倍页面大小。内核中分配空闲页框的基本函数是get_free_page/get_free_pages，他们或是分配单页或是分配指定的页框。

2、slab技术介绍 (更小）

以页为最小单位分配内存对于内核管理系统物理内存来说的确比较方便，但内核自身最常使用的内存却往往是很小的内存块(远远小于1页)，为了满足内核对于这种小内存块的需要，Linux系统采用了一种被称为slab分配器的技术。slab分配器的实现相当复杂，其核心思想就是”存储池“的运用。内存片段(小块内存)被看作对象，当使用完后，并不直接释放而是被缓存到”存储池“里，留作下次使用，这无疑避免了频繁创建于销毁对象所带来的额外负载。
slab是将页面(来自于伙伴关系管理的空闲页框链)撕碎成众多小内存块以供分配，slab中的对象分配和销毁使用kmem_cache_alloc与kmem_cache_free。

kmalloc

　　void *kmalloc(size_t size, gfp_t flags)
内核程序中对小于一页的小块内存的请求会通过slab分配器提供的接口kmalloc来完成

kmalloc是内核中最常用的一种内存分配方式，它通过调用kmem_cache_alloc函
数来实现。kmalloc一次最多能申请的内存大小由include/Linux/Kmalloc_size.h的
内容来决定，在默认的2.6.18内核版本中，kmalloc一 次最多能申请大小为131702B也就是128KB字
节的连续物理内存。测试结果表明，如果试图用kmalloc函数分配大于128KB的内存，编译不能通过。

vmalloc

　　void *vmalloc(unsigned long size)

对内存区的请求不是很频繁，较高的内存访问时间也
可以接受，这是就可以分配一段线性连续，物理不连续的地址，带来的好处是一次可以分配较大块的内存。
vmalloc函数。在测试过程中， 最大能一次分配1GB的空间。

ioremap

　　void * ioremap (unsigned long offset, unsigned long size)

ioremap是一种更直接的内存“分配”方式，使用时直接指定物理起始地址和需要分配内存的大小，然后将该段 物理地址映射到内核地址空间。ioremap用到的物理地址空间都是事先确定的，和上面的几种内存
分配方式并不太一样，并不是分配一段新的物理内存。ioremap多用于设备驱动，可以让CPU直接访问外部设备的IO空间。

Linux地址空间

clipboard.png

clipboard1.png

Linux的虚拟地址空间也为0～4G。Linux内核将这4G字节的空间分为两部分。将最高的1G字节（从虚拟地址0xC0000000到0xFFFFFFFF），供内核使用，称为“内核空间”。而将较低的3G字节（从虚拟地址 0x00000000到0xBFFFFFFF），供各个进程使用，称为“用户空间）

内核空间

内核空间中存放的是内核代码和数据，而进程的用户空间中存放的是用户程序的代码和数据.

虚拟地址通过页表(Page Table)映射到物理内存，页表由操作系统维护并被处理器引用。内核空间在页表中拥有较高特权级，因此用户态程序试图访问这些页时会导致一个页错误(page fault)。

内核空间是持续存在的，并且在所有进程中都映射到同样的物理内存。内核代码和数据总是可寻址，随时准备处理中断和系统调用。与此相反，用户模式地址空间的映射随进程切换的发生而不断变化。

用户空间

每个进程都运行在属于自己的内存沙盘中。这个沙盘就是虚拟地址空间(Virtual Address Space)，在32位模式下它是一个4GB的内存地址块
在Linux系统中, 内核进程和用户进程所占的虚拟内存比例是1:3，而Windows系统为2:2。

操作系统在管理内存时，每个进程都有一个独立的进程地址空间，进程地址空间的地址为虚拟地址，对于32位操作系统，该虚拟地址空间为2^32=4GB。 进程在执行的时候，看到和使用的内存地址都是虚拟地址，而操作系统通过MMU部件将进程使用的虚拟地址转换为物理地址。

一个进程用到的虚拟地址是由内存区域表来管理的，实际用不了4G。而用到的内存区域，会通过页表映射到物理内存。所以每个进程都可以使用同样的虚拟内存地址而不冲突，因为它们的物理地址实际上是不同的。

内存的延迟分配

内存的延迟分配，只有在真正访问一个地址的时候才建立这个地址的物理映射，这是Linux内存管理的基本思想。Linux内核在用户申请内存的时候，只是给它分配了一个线性区（也就是虚拟内存），并没有分配实际物理内存；只有当用户使用这块内存的时候，内核才会分配具体的物理页面给用户，这时候才占用宝贵的物理内存。内核释放物理页面是通过释放线性区，找到其对应的物理页面，将其全部释放的过程。

进程地址空间分为：

进程地址空间中分为各个不同的部分：

（1）由于系统内核中有些代码、数据是所有进程所公用的，所以所有进程的进程地址空间中有一个专门的区域存放公共的内核代码和数据，该区域内的内容相同，且该虚拟内存映射到同一个物理内存区域。

（2）进程在执行的时候，需要维护进程相关的数据结构，比如页表、task和mm结构、内核栈等，这些数据结构是进程独立的，各个进程之间可能不同。这些数据结构在进程虚拟地址空间中一个专门的区域中。

（3）进程在进行函数调用的时候，需要使用栈，于是进程地址空间中存在一个专门的虚拟内存区域维护用户栈。

（4）进程在进行动态内存分配的时候，需要使用堆，于是进程地址空间中存在一个专门的虚拟内存区域维护堆。

（5）进程中未初始化的数据在 .bss 段

（6）进程中初始化的数据在 .data 段

（7）进程代码在 .text 段

（8）进程执行的时候可能会调用共享库(so),在进程地址空间中有一个共享库的存储器映射区域，这个是进程独立的，因为每个进程可能调用不同的共享库。

（9）mmap其实和堆一样，实际上可以说他们都是动态内存分配，但是严格来说mmap区域并不属于堆区，反而和堆区会争用虚拟地址空间。

进程虚拟地址怎么来的呢？其实在我们编译的时候，这些地址就已经确定了,
我们不论我们运行a.out程序多少次这些地址都是一样的。我们知道，linux操作系统每个进程的地址空间都是独立的，其实这里的独立说得是物理空间上得独立。进程可以使用相同的虚拟地址，这不奇怪，因为转换后的物理地址并非相同的。

root@TCCOM:/project/test# readelf -h test.out
ELF Header:
  Magic:   7f 45 4c 46 02 01 01 00 00 00 00 00 00 00 00 00
  Class:                             ELF64
  Data:                              2's complement, little endian
  Version:                           1 (current)
  OS/ABI:                            UNIX - System V
  ABI Version:                       0
  Type:                              EXEC (Executable file)
  Machine:                           Advanced Micro Devices X86-64
  Version:                           0x1
  Entry point address:               0x4004a0
  Start of program headers:          64 (bytes into file)
  Start of section headers:          4440 (bytes into file)
  Flags:                             0x0
  Size of this header:               64 (bytes)
  Size of program headers:           56 (bytes)
  Number of program headers:         9
  Size of section headers:           64 (bytes)
  Number of section headers:         30
  Section header string table index: 27

程序启动过程

有了以上的进程地址空间分布和可执行文件的分布信息，就可以描述进程启动过程了。程序启动时，操作系统会新建一个进程来执行该程序，主要分为三个步骤：

（1）操作系统分配一个独立的进程地址空间，主要是在内存的内核区域中新建一个描述进程的结构体（linux中为task_struct），结构体中包含了进程的相关信息，比如进程运行状态，进程的寄存器，进程打开的资源，以及进程的内存管理结构（在linux中为mm_struct，进程的内存管理结构就描述了进程的虚拟地址空间的布局).
同时，为该进程创建一个页目录表。

（2）读取可执行文件头，建立可执行文件中各个段和进程虚拟地址空间中各个段之间的映射关系。当程序运行时需要将可执行文件中的内容载入内存来执行，比如在进程访问某全局变量时，该全局变量还没有被载入内存，此时需要知道该全局变量对应在可执行文件的什么位置。于是我们就需要知道进程中虚拟地址到可执行文件中位置的对应。

（3）将PC指针指向进程的代码入口处，开始执行 ， 执行的时候会不断的发生缺页中断，发生缺页中断时会将实际的可执行文件中的内容载入到物理内存中，然后建立虚拟内存页和物理内存页的映射关系。

系统对进程的管理

操作系统内核区域中存储了各个进程的结构体信息，linux中为task_struct，task_struct中包含了进程的相关信息，比如进程状态，寄存器，内核栈，状态字，内存分配mm_struct。

针对单独一个进程，它在运行的时候使用并更新task_struct中的信息，比如使用mm_struct用于访问内存...

在进程切换的时候，系统将原进程的相关信息保存到它对应的task_struct中；然后选择另一个进程，将task_struct中的信息装载到机器的寄存器中去，然后新的进程就按照它的task_struct来指导运行....

clipboard2.png

在linux操作系统中，每个进程都通过一个task_struct的结构体，每个进程的地址空间都通过一个mm_struct,c语言中的每个段空间都通过vm_area_struct表示
虚存管理的最基本的管理单元应该是struct vm_area_struct了，它描述的是一段连续的、具有相同访问属性的虚存空间，该虚存空间的大小为物理内存页面的整数倍。
vm_area_struct结构所描述的虚存空间以vm_start、vm_end成员表示，它们分别保存了该虚存空间的首地址和末地址后第一个字节的地址，以字节为单位，所以虚存空间范围可以用[vm_start, vm_end)表示
通常，进程所使用到的虚存空间不连续，且各部分虚存空间的访问属性也可能不同。所以一个进程的虚存空间需要多个vm_area_struct结构来描述

当一个程序被执行时，该程序的内容必须被放到进程的虚拟地址空间（注意，是虚拟地址空间），对于可执行程序的共享库也是如此。可执行程序并非真正读到物理内存中，而只是链接到进程的虚拟内存中（此时都是在进程的虚拟地址空间）
当一个可执行程序映射到进程虚拟地址空间时，一组vm_area_struct数据结构将被产生

linux操作系统是通过sys_exec对可执行文件进行映射以及读取的，有如下几步：
1、创建一组vm_area_struct；

2、圈定一个虚拟用户空间，将其起始结束地址(elf段中已设置好)保存到vm_start和vm_end中；

3、将磁盘file句柄保存在vm_file中；

4、将对应段在磁盘file中的偏移值(elf段中已设置好)保存在vm_pgoff中；

5、将操作该磁盘file的磁盘操作函数保存在vm_ops中；

在进程创建的过程中，程序内容被映射到进程的虚拟内存空间，为了让一个很大的程序在有限的物理内存空间运行，我们可以把这个程序的开始部分先加载到物理内存空间运行，因为操作系统处理的是进程的虚拟地址，如果在进行虚拟到物理地址的转换工程中，发现物理地址不存在时，这个时候就会发生缺页异常(nopage),接着操作系统就会把磁盘上还没有加载到内存中的数据加载到物理内存中，对应的进程页表进行更新

如果此时物理内存满了，操作系统将如何处理?

如果一个进程想将一个虚拟页装入物理内存，而又没有可使用的空闲物理页，操作系统就必须淘汰物理内存中的其他页来为此页腾出空间。

如果从物理内存中被淘汰的页来自于一个映像或数据文件，并且还没有被写过，则该页不必保存，它可以丢掉。如果有进程在需要该页时就可以把它从映像或数据文件中取回内存。

然而，如果该页被修改过，操作系统必须保留该页的内容以便晚些时候在被访问。这种页称为"脏（dirty）页"，当它被从内存中删除时，将被保存在一个称为交换文件的特殊文件中。

相对于处理器和物理内存的速度，访问交换文件要很长时间，操作系统必须在将页写到磁盘以及再次使用时取回内存的问题上花费心机。

如果用来决定哪一页被淘汰或交换的算法不够高效的话，就可能出现称为"抖动"的情况。在这种情况下，页面总是被写到磁盘又读回来，操作系统忙于此而不能进行真正的工作。

linux使用"最近最少使用(Least Recently Used ,LRU)"页面调度技巧来公平地选择哪个页可以从系统中删除。这种设计系统中每个页都有一个"年龄"，年龄随页面被访问而改变。页面被访问越多它越年轻；被访问越少越老。年老的页是用于交换的最佳候选页

fork的过程

在linux中，fork是一个系统调用，用于复制当前进程得到当前进程的子进程。fork时，系统在内核中新建一个进程结构体task_struct，由于开始时父子进程的大部分信息都相同，所以该结构体大部分信息都拷贝自原父进程的task_struct。

此时，子进程的虚拟内存页和父进程的虚拟内存页使用相同的物理页。当发生子进程或者父进程要对内存进行写操作时，系统再为子进程的对应的虚拟页分配物理页，即copy-on-write机制。

上图中Random stack offset和Random mmap offset等随机值意在防止恶意程序。Linux通过对栈、内存映射段、堆的起始地址加上随机偏移量来打乱布局
execve(2)负责为进程代码段和数据段建立映射，真正将代码段和数据段的内容读入内存是由系统的缺页异常处理程序按需完成的。另外，execve(2)还会将BSS段清零。

栈和堆的区别

①管理方式：

栈由编译器自动管理；堆由程序员控制，使用方便，但易产生内存泄露。

②生长方向：

栈向低地址扩展(即”向下生长”)，是连续的内存区域；堆向高地址扩展(即”向上生长”)，是不连续的内存区域。这是由于系统用链表来存储空闲内存地址，自然不连续，而链表从低地址向高地址遍历。

③空间大小：

栈顶地址和栈的最大容量由系统预先规定(通常默认2M或10M)；堆的大小则受限于计算机系统中有效的虚拟内存，32位Linux系统中堆内存可达2.9G空间。

④存储内容：

栈在函数调用时，首先压入主调函数中下条指令(函数调用语句的下条可执行语句)的地址，然后是函数实参，然后是被调函数的局部变量。本次调用结束后，局部变量先出栈，然后是参数，最后栈顶指针指向最开始存的指令地址，程序由该点继续运行下条可执行语句。堆通常在头部用一个字节存放其大小，堆用于存储生存期与函数调用无关的数据，具体内容由程序员安排。

⑤分配方式：

栈可静态分配或动态分配。静态分配由编译器完成，如局部变量的分配。动态分配由alloca函数在栈上申请空间，用完后自动释放。堆只能动态分配且手工释放

⑥分配效率：

栈由计算机底层提供支持：分配专门的寄存器存放栈地址，压栈出栈由专门的指令执行，因此效率较高。堆由函数库提供，机制复杂，效率比栈低得多。

⑦分配后系统响应：

只要栈剩余空间大于所申请空间，系统将为程序提供内存，否则报告异常提示栈溢出。
操作系统为堆维护一个记录空闲内存地址的链表。当系统收到程序的内存分配申请时，会遍历该链表寻找第一个空间大于所申请空间的堆结点，然后将该结点从空闲结点链表中删除，并将该结点空间分配给程序。若无足够大小的空间(可能由于内存碎片太多)，有可能调用系统功能去增加程序数据段的内存空间，以便有机会分到足够大小的内存，然后进行返回。大多数系统会在该内存空间首地址处记录本次分配的内存大小，供后续的释放函数(如free/delete)正确释放本内存空间

⑧碎片问题：

栈不会存在碎片问题，因为栈是先进后出的队列，内存块弹出栈之前，在其上面的后进的栈内容已弹出。而频繁申请释放操作会造成堆内存空间的不连续，从而造成大量碎片，使程序效率降低。
堆：　是大家共有的空间，分全局堆和局部堆。全局堆就是所有没有分配的空间，局部堆就是用户分配的空间。堆在操作系统对进程初始化的时候分配，运行过程中也可以向系统要额外的堆，但是记得用完了要还给操作系统，要不然就是内存泄漏。
栈：是个线程独有的，保存其运行状态和局部自动变量的。栈在线程开始的时候初始化，每个线程的栈互相独立，因此，栈是　thread safe的。操作系统在切换线程的时候会自动的切换栈，就是切换　ＳＳ／ＥＳＰ寄存器。栈空间不需要在高级语言里面显式的分配和释放

如何确认进程栈的大小

ulimit -s

可查看和设置栈最大值.8192 kbytes

当程序使用的栈超过该值时, 发生栈溢出(Stack Overflow)，程序收到一个段错误(Segmentation Fault)。

栈的种类

线程栈

从 Linux 内核的角度来说，其实它并没有线程的概念。Linux 把所有线程都当做进程来实现，它将线程和进程不加区分的统一到了 task_struct 中。线程仅仅被视为一个与其他进程共享某些资源的进程，而是否共享地址空间几乎是进程和 Linux 中所谓线程的唯一区别。线程创建的时候，加上了 CLONE_VM 标记，这样 线程的内存描述符 将直接指向 父进程的内存描述符。

主线程和其他线程的stack区别

虽然线程的地址空间和进程一样，但是对待其地址空间的 stack 还是有些区别的。对于 Linux 进程或者说主线程，其 stack 是在 fork 的时候生成的，实际上就是复制了父亲的 stack 空间地址，然后写时拷贝 (cow) 以及动态增长。

然而对于主线程生成的子线程而言，其 stack 将不再是这样的了，而是事先固定下来的，使用 mmap 系统调用，它不带有 VM_STACK_FLAGS 标记。
所以线程栈的起始地址并没有存放在 task_struct 中，应该是使用 pthread_attr_t 中的 stackaddr 来初始化 task_struct->thread->sp（sp 指向 struct pt_regs 对象，该结构体用于保存用户进程或者线程的寄存器现场）。这些都不重要，重要的是，线程栈不能动态增长，一旦用尽就没了
由于线程栈是从进程的地址空间中 map 出来的一块内存区域，原则上是线程私有的

线程栈所在的空间位置

多线程进程可以看作是几个共享地址空间的进程的集合。但多线程一定是由一个主线程开始，这个主线程启动其他线程。主线程的线程栈在内核空间位置附近，大小为8MB，其他线程的线程栈是主线程在调用pthread_create创建线程时，由mmap分配的，所以这些线程栈在mmap的区域内，跟共享库入口同属一个区域，phtread_t tid中存储的就是线程结构体在mmap区域中的入口。普通线程栈的默认大小也是8MB

为什么需要单独的线程栈？

Linux 调度程序中并没有区分线程和进程，当调度程序需要唤醒”进程”的时候，必然需要恢复进程的上下文环境，也就是进程栈；但是线程和父进程完全共享一份地址空间，如果栈也用同一个那就会遇到以下问题。假如进程的栈指针初始值为 0x7ffc80000000；父进程 A 先执行，调用了一些函数后栈指针 esp 为 0x7ffc8000FF00，此时父进程主动休眠了；接着调度器唤醒子线程 A1：
此时 A1 的栈指针 esp 如果为初始值 0x7ffc80000000，则线程 A1 一但出现函数调用，必然会破坏父进程 A 已入栈的数据。
如果此时线程 A1 的栈指针和父进程最后更新的值一致，esp 为 0x7ffc8000FF00，那线程 A1 进行一些函数调用后，栈指针 esp 增加到 0x7ffc8000FFFF，然后线程 A1 休眠；调度器再次换成父进程 A 执行，那这个时候父进程的栈指针是应该为 0x7ffc8000FF00 还是 0x7ffc8000FFFF 呢？无论栈指针被设置到哪个值，都会有问题不是吗？

进程内核栈

在每一个进程的生命周期中，必然会通过到系统调用陷入内核。在执行系统调用陷入内核之后，这些内核代码所使用的栈并不是原先进程用户空间中的栈，而是一个单独内核空间的栈，这个称作进程内核栈。进程内核栈在进程创建的时候，通过 slab 分配器从 thread_info_cache 缓存池中分配出来，其大小为 THREAD_SIZE，一般来说是一个页大小 4K；

为什么需要单独的进程内核栈？

所有进程运行的时候，都可能通过系统调用陷入内核态继续执行。假设第一个进程 A 陷入内核态执行的时候，需要等待读取网卡的数据，主动调用 schedule() 让出 CPU；此时调度器唤醒了另一个进程 B，碰巧进程 B 也需要系统调用进入内核态。那问题就来了，如果内核栈只有一个，那进程 B 进入内核态的时候产生的压栈操作，必然会破坏掉进程 A 已有的内核栈数据；一但进程 A 的内核栈数据被破坏，很可能导致进程 A 的内核态无法正确返回到对应的用户态了；

进程和线程是否共享一个内核栈？

No，线程和进程创建的时候都调用 dup_task_struct 来创建 task 相关结构体，而内核栈也是在此函数中 alloc_thread_info_node 出来的。因此虽然线程和进程共享一个地址空间 mm_struct，但是并不共享一个内核栈。

中断栈

由于系统中断的时候，系统当然是处于内核态的，所以中断栈是可以和内核栈共享的
ARM 上中断栈和内核栈则是共享的；中断栈和内核栈共享有一个负面因素，如果中断发生嵌套，可能会造成栈溢出。