CPU在一段较短的时间内，是对连续地址的一段很小的主存空间频繁地进行访问，而对此范围以外地址的访问甚少，这种现象称为程序访问的局部性。
Cache技术就是利用程序访问的局部性原理，把程序中正在使用的部分（活跃块）存放在一个小容量的高速Cache中，使CPU的访存操作大多针对Cache进行，从而解决高速CPU和低速主存之间速度不匹配的问题，使程序的执行速度大大提高。
Cache技术是为了解决CPU和主存之间速度不匹配而采用的一项重要技术。
CPU与Cache之间的数据交换是以字为单位的，而Cache与主存之间的数据交换则是以块为单位的。一个块由若干个定长字组成。
当CPU读取主存中的一个字时，该字的主存地址被发给Cache和主存，此时，Cache控制逻辑依据地址判断该字当前是否存在于Cache中：若在，该字立即被从Cache传送给CPU；若不在，则用主存读周期把该字从主存读出送到CPU，同时把含有这个字的整个数据块从主存读出送到Cache中，并采用一定的替换策略将Cache中的某一块替换掉，替换算法由Cache管理逻辑电路来实现。
Cache的命中率
Cache的工作效率通常用“命中率”来表示。
命中率指的是CPU要访问的信息在Cache中的概率，Cache的命中率越高，CPU访问主存的速度就越接近访问Cache的速度。通常Cache的容量越大，存储的块也越多，CPU的命中率就越高。但是，当Cache的容量达到一定值时，命中率并不会随着容量的增大而增加，而且Cache容量的增大将导致成本的增加，所以，Cache的容量一般是命中率与成本价格的折中。
命中率h与程序的行为、Cache的容量、组织方式、块的大小有关。
Cache的替换算法
Cache的容量很小，它保存的内容只是主存内容的一个子集，且Cache与主存的数据交换是以块为单位的。为了把信息放到Cache中，必须应用某种函数把主存地址定位到Cache中，这称为地址映射。
Cache的地址映射方式有直接映射、全相联映射和组相联映射。
假设某台计算机主存容量为l MB，被分为2048块，每块512B；
Cache容量为8KB，被分为16块，每块也是512B。
下面以此为例介绍三种基本的地址映射方法。
1. 直接映射
直接映射的Cache组织如图所示。
主存中的一个块只能映射到Cache的某一特定块中去。例如，主存的第0块、第16块、……、第2032块，只能映射到Cache的第0块；而主存的第1块、第17块、……、第2033块，只能映射到Cache的第1块……。
直接映射是最简单的地址映射方式，它的硬件简单，成本低，地址变换速度快，而且不涉及替换算法问题。但是这种方式不够灵活，Cache的存储空间得不到充分利用，每个主存块只有一个固定位置可存放，容易产生冲突，使Cache效率下降，因此只适合大容量Cache采用。
例如，如果一个程序需要重复引用主存中第0块与第16块，最好将主存第0块与第16块同时复制到Cache中，但由于它们都只能复制到Cache的第0块中去，即使Cache中别的存储空间空着也不能占用，因此这两个块会不断地交替装入Cache中，导致命中率降低。
2. 全相联映射
图3-15 是全相联映射的Cache组织，主存中任何一块都可以映射到Cache中的任何一块位置上。
全相联映射方式比较灵活，主存的各块可以映射到Cache的任一块中，Cache的利用率高，块冲突概率低，只要淘汰Cache中的某一块，即可调入主存的任一块。但是，由于Cache比较电路的设计和实现比较困难，这种方式只适合于小容量Cache采用。
3. 组相联映射
组相联映射实际上是直接映射和全相联映射的折中方案，其组织结构如图3-16所示。
主存和Cache都分组，主存中一个组内的块数与Cache中的分组数相同，组间采用直接映射，组内采用全相联映射。
也就是说，将Cache分成u组，每组v块，主存块存放到哪个组是固定的，至于存到该组哪一块则是灵活的。例如，主存分为256组，每组8块，Cache分为8组，每组2块。
主存中的各块与Cache的组号之间有固定的映射关系，但可自由映射到对应Cache组中的任何一块。例如，主存中的第0块、第8块……均映射于Cache的第0组，但可映射到Cache第0组中的第0块或第1块；主存的第1块、第9块……均映射于Cache的第1组，但可映射到Cache第1组中的第2块或第3块。
常采用的组相联结构Cache，每组内有2、4、8、16块，称为2路、4路、8路、16路组相联Cache。组相联结构Cache是前两种方法的折中方案，适度兼顾二者的优点，尽量避免二者的缺点，因而得到普遍采用。
替换策略
Cache工作原理要求它尽量保存最新数据，当从主存向Cache传送一个新块，而Cache中可用位置已被占满时，就会产生Cache替换的问题。
替换问题与Cache的组织方式紧密相关：对直接映射Cache来说，只要把此可用位置上的主存块换出Cache即可；对全相联和组相联Cache来说，要从若干个可用位置中选取一个位置，把其中的主存块换出Cache。
常用的替换算法有下面三种。
1. 最不经常使用（LFU）算法
LFU（Least Frequently Used，最不经常使用）算法将一段时间内被访问次数最少的那个块替换出去。每块设置一个计数器，从0开始计数，每访问一次，被访块的计数器就增1。当需要替换时，将计数值最小的块换出，同时将所有块的计数器都清零。
这种算法将计数周期限定在对这些特定块两次替换之间的间隔时间内，不能严格反映近期访问情况，新调入的块很容易被替换出去。
2. 近期最少使用（LRU）算法
LRU（Least Recently Used，近期最少使用）算法是把CPU近期最少使用的块替换出去。这种替换方法需要随时记录Cache中各块的使用情况，以便确定哪个块是近期最少使用的块。每块也设置一个计数器，Cache每命中一次，命中块计数器清零，其他各块计数器增1。当需要替换时，将计数值最大的块换出。
LRU算法相对合理，但实现起来比较复杂，系统开销较大。这种算法保护了刚调入Cache的新数据块，具有较高的命中率。
3. 随机替换
最简单的替换算法是随机替换。随机替换算法完全不管Cache的情况，简单地根据一个随机数选择一块替换出去。随机替换算法在硬件上容易实现，且速度也比前两种算法快。缺点则是降低了命中率和Cache工作效率。
Cache命中率除了和替换算法有关外，还与Cache的容量及块的大小有
关。
写回算法
由于Cache的内容只是主存内容的一个子集，应当与主存内容保持一致，而CPU对Cache的写入更改了Cache的内容。为此，可选用写操作策略使Cache内容与主存内容保持一致。
写回法
当CPU写Cache命中时，只修改Cache的内容，而不是立即写入主存；只有当此块被换出时才写回主存。
使用这种方法写Cache和写主存异步进行，显著减少了访问主存的次数，但是存在数据不一致的隐患。实现这种方法时，每个Cache块必须配置一个修改位，以反映此块是否被CPU修改过。
全写法
当写 Cache命中时，Cache与主存同时发生写修改。
使用这种方法写Cache和写主存同步进行，因而较好地维护了Cache与主存的内容一致性。实现这种方法时，Cache中的每个块无需设置修改位以及相应的判断逻辑，但由于Cache对CPU向主存的写操作没有高速缓冲功能，从而降低了Cache的功效。
写一次法
写一次法是基于写回法并结合全写法的写操作策略，写命中与写未命中的处理方法与写回法基本相同，只是第一次写命中时要同时写入主存，以便于维护系统全部Cache的一致性。
