.课程网站

CPU多级缓存

    左图为最简单的高速缓存的配置，数据的读取和存储都经过高速缓存，CPU核心与高速缓存有一条特殊的快速通道；主存与高速缓存都连在系统总线上（BUS）这条总线还用于其他组件的通信

    在高速缓存出现后不久，系统变得越来越复杂，高速缓存与主存之间的速度差异被拉大，直到加入了另一级缓存，新加入的这级缓存比第一缓存更大，并且更慢，而且经济上不合适，所以有了二级缓存，甚至是三级缓存

CPU多级缓存

1.为什么需要CPU cache?

    CPU的频率太快了，快到主存跟不上，这样在处理器时钟周期内，CPU常常需要等待主存，浪费资源。  所以cache的出现，是为了缓解CPU和内存之间速度的不匹配问题（结构：cpu->cache->memory）。

2.CPU cache有什么意义?

时间局部性：如果某个数据被访问，那么在不久的将来他很可能被再次访问。

空间局部性：如果某个数据被访问，那么与他相邻的数据很快也可能被访问。

3.缓存一致性（MESI）

    MESI协议中cache line数据状态有4种，引起数据状态转换的CPU cache操作也有4种，因此要理解MESI协议，就要将这16种状态转换的情况讨论清楚。

MESI协议

 初始场景：在最初的时候，所有的CPU中都没有数据，其中一个CPU发生读操作，此时发生RR（数据从主内存中读取到当前CPU的cache），状态为E（独占，只有当前CPU有数据，并且和主存一致）。此时，如果有其他CPU也读取主存数据，则状态修改为S（共享，多个CPU之间拥有相同数据，并且和主存保持一致），如果其中一个CPU发生数据修改，那么该CPU中数据状态修改为M（拥有最新数据，和主存不一致，但是以当前CPU中的数据为准），并通知其他拥有该数据的CPU数据失效，其他CPU中的cache line状态修改为I（失效，和主存中的数据被认为不一致，数据不可用应该重新获取）

modify

    场景：当前CPU中数据状态是modify，表示当前CPU中拥有最新数据，虽然主存中的数据和当前CPU中的数据不一致，但是以当前CPU中的数据为准；

    LR：此时如果发生local read，即当前CPU读数据，直接从cache中获取数据，拥有最新数据，因此状态不变；

    LW：直接修改本地cache数据，修改后也是当前CPU拥有最新数据，因此状态不变；

    RR：因为本地内存中有最新数据，因此当前CPU不会发生RR和RW，当本地cache控制器监听到总线上有RR发生的时，必然是其他CPU发生了读主存的操作，此时为了保证一致性， 当前CPU应该将数据写回主存，而随后的RR将会使得其他CPU和当前CPU拥有共同的数据，因此状态修改为S；

    RW（将当前CPU缓存中的数据写入到主内存里面）：同RR，当cache控制器监听到总线发生RW，当前CPU会将数据写回主存，因为随后的RW将会导致主存的数据修改，因此状态修改成I；

exclusive

    场景：当前CPU中的数据状态是exclusive，表示当前CPU独占数据（其他CPU没有数据），并且和主存的数据一致；

    LR：从本地cache中直接获取数据，状态不变；

    LW：修改本地cache中的数据，状态修改成M（因为其他CPU中并没有该数据，因此不存在共享问题，不需要通知其他CPU修改cache line的状态为I）；

    RR：因为本地cache中有最新数据，因此当前CPU cache操作不会发生RR和RW，当cache控制器监听到总线上发生RR的时候，必然是其他CPU发生了读取主存的操作，而RR操作不会导致数据修改，因此两个CPU中的数据和主存中的数据一致，此时cache line状态修改为S；

    RW：同RR，当cache控制器监听到总线发生RW，发生其他CPU将最新数据写回到主存，此时为了保证缓存一致性，当前CPU的数据状态修改为I；

shared

    场景：当前CPU中的数据状态是shared，表示当前CPU和其他CPU共享数据，且数据在多个CPU之间一致、多个CPU之间的数据和主存一致；

    LR：直接从cache中读取数据，状态不变；

    LW：发生本地写，并不会将数据立即写回主存，而是在稍后的一个时间再写回主存，因此为了保证缓存一致性，当前CPU的cache line状态修改为M，并通知其他拥有该数据的CPU该数据失效，其他CPU将cache line状态修改为I；

    RR：状态不变，因为多个CPU中的数据和主存一致；

    RW：当监听到总线发生了RW，意味着其他CPU发生了写主存操作，此时本地cache中的数据既不是最新数据，和主存也不再一致，因此当前CPU的cache line状态修改为I；

invalid

    场景：当前CPU中的数据状态是invalid，表示当前CPU中是脏数据，不可用，其他CPU可能有数据、也可能没有数据；

    LR：因为当前CPU的cache line数据不可用，因此会发生RR操作，此时的情形如下。

        A. 如果其他CPU中无数据则状态修改为E；

        B. 如果其他CPU中有数据且状态为S或E则状态修改为S；

        C. 如果其他CPU中有数据且状态为M，那么其他CPU首先发生RW将M状态的数据写回主存并修改状态为S，随后当前CPU读取主存数据，也将状态修改为S；

    LW：因为当前CPU的cache line数据无效，因此发生LW会直接操作本地cache，此时的情形如下。

        A. 如果其他CPU中无数据，则将本地cache line的状态修改为M；

        B. 如果其他CPU中有数据且状态为S或E，则修改本地cache，通知其他CPU将数据修改为I，当前CPU中的cache line状态修改为M；

        C. 如果其他CPU中有数据且状态为M，则其他CPU首先将数据写回主存，并将状态修改为I，当前CPU中的cache line状态修改为M；

    RR：监听到总线发生RR操作，表示有其他CPU读取内存，和本地cache无关，状态不变；

    RW：监听到总线发生RW操作，表示有其他CPU写主存，和本地cache无关，状态不变；

总结： MESI协议为了保证多个CPU cache中共享数据的一致性，定义了cache line的四种状态，而CPU对cache的4种操作可能会产生不一致状态，因此cache控制器监听到本地操作和远程操作的时候， 需要对地址一致的cache line状态做出一定的修改，从而保证数据在多个cache之间流转的一致性。

Java内存模型

    Java线程之间的通信采用的是共享内存模型，这里提到的共享内存模型指的是Java内存模型(简称JMM)，JMM决定一个线程对共享变量的写入何时对另一个线程可见。从抽象的角度来看，JMM定义了线程和主存之间的抽象关系：线程之间的共享变量存储在主存中(main memory)中，每个线程都有一个私有的本地内存(local memory)，本地内存中存储了该线程以读/写共享变量的副本。本地内存是JMM的一个抽象概念，并不真实存在。它涵盖了缓存，写缓冲区，寄存器以及其他的硬件和编译器优化。

JMM抽象图

JVM对Java内存模型的实现

在JVM内部，Java内存模型把内存分成了两部分：线程栈区、堆区和方法区，下图展示了Java内存模型在JVM中的逻辑视图： 

JVM视图

    基本类型变量和对象的引用，会被存储到栈区。 

    对象的实例存放在堆区中。

    Static类型的变量以及类本身相关信息都会随着类本身存储在方法区。

    堆中的对象和方法区的数据可以被多线程共享。如果一个线程获得一个对象的应用，它便可访问这个对象的成员变量。如果两个线程同时调用了同一个对象的同一个方法，那么这两个线程便可同时访问这个对象的成员变量，但是对于本地（局部）变量，每个线程都会拷贝一份到自己的线程栈中，即不存在多线程竞争同一个资源的问题。

    垃圾回收器GC的工作区域是在堆中，会不定时去清除引用不可达的对象。

JVM内存模型

硬件内存架构

    现代计算机一般都有2个以上CPU，而且每个CPU还有可能包含多个核心。因此，如果我们的应用是多线程的话，这些线程可能会在各个CPU核心中并行运行。

    在CPU内部有一组CPU寄存器，也就是CPU的储存器。CPU操作寄存器的速度要比操作计算机主存快得多。在主存和CPU寄存器之间还存在CPU缓存，CPU操作CPU缓存的速度快于主存但慢于CPU寄存器。某些CPU可能有多个缓存层(一级缓存和二级缓存)。计算机的主存也称作RAM，所有的CPU都能够访问主存，而且主存比上面提到的缓存和寄存器大很多。

    当一个CPU需要访问主存时，会先读取一部分主存数据到CPU缓存中，进而再读取CPU缓存到寄存器。当CPU需要写数据到主存时，同样会先flush寄存器到CPU缓存，然后在某个时间节点缓存数据会flush到主存。

CPU内存架构

Java内存模型-主内存与线程工作内存交互的8种操作

1、lock(锁定)：作用于主内存的变量，它把一个变量标示为一个线程独占的状态。

2、unlock(解锁)：作用于主内存的变量，它把一个处于锁定状态的变量释放出来，释放后的变量才可以被其他线程锁定。

3、read(读取)：作用于工作内存的变量，它把一个变量的值从主内存传输到工作内存中，以便随后的load动作使用。

4、load(载入)：作用于工作内存的变量，它把read操作从主内存中得到的变量值放入工作内存的变量副本中。

5、use(使用)：作用于工作内存的变量，它把工作内存中的一个变量的值传递给执行引擎，每当虚拟机遇到一个需要使用到变量的字节码指令时将会执行这个操作。

6、assign(赋值)：作用于工作内存的变量，它把一个从执行引擎接收到的值赋给工作内存的变量，每当虚拟机遇到一个给变量赋值的字节码指令时执行这个操作。

7、store(存储)：作用于工作内存的变量，它把工作内存中的一个变量的值传递到主内存中，以便随后的write操作使用。

8、write(写入)：作用于主内存的变量，它把store操作从工作内存中得到的变量值放入主内存的变量中。

Java内存模型同步操作流程图

Java内存模型-主内存与线程工作内存交互的8种规则

1、不允许read和load、store和write操作之一单独出现，以上两个操作必须按顺序执行，但没有保证必须连续执行，也就是说，read与load之间、store与write之间是可插入其他指令的。

  2、不允许一个线程丢弃它的最近的assign操作，即变量在工作内存中改变了之后必须把该变化同步回主内存。

  3、不允许一个线程无原因地（没有发生过任何assign操作）把数据从线程的工作内存同步回主内存中。

  4、一个新的变量只能从主内存中“诞生”，不允许在工作内存中直接使用一个未被初始化（load或assign）的变量，换句话说就是对一个变量实施use和store操作之前，必须先执行过了assign和load操作。

  5、一个变量在同一个时刻只允许一条线程对其执行lock操作，但lock操作可以被同一个条线程重复执行多次，多次执行lock后，只有执行相同次数的unlock操作，变量才会被解锁。

  6、如果对一个变量执行lock操作，将会清空工作内存中此变量的值，在执行引擎使用这个变量前，需要重新执行load或assign操作初始化变量的值。

  7、如果一个变量实现没有被lock操作锁定，则不允许对它执行unlock操作，也不允许去unlock一个被其他线程锁定的变量。

  8、对一个变量执行unlock操作之前，必须先把此变量同步回主内存（执行store和write操作）。