1. 概述
随着应用程序访问量不断增加，高并发是每一个应用程序不得不面对的问题。本文会从如下几个层面来讲述高并发相关的知识点
基础知识与核心知识.png
多线程并发与线程安全.jpg
思路与手段.jpg
我们先看一个计数器的的简易实现好让大家有个初步印象
@Slf4j
public class ConcurrencyCodeTest {
//请求总数
private final static Integer CLIENT_REQUEST_COUNT = 100;
//模拟20个线程
private final static Integer THREAD_TOTAL_COUNT = 20;
private static Integer count = 0;
public static void main(String [] args) throws InterruptedException {
//创建信号灯用于控制线程数
Semaphore semaphore = new Semaphore(THREAD_TOTAL_COUNT);
//创建CountDownLatch用于控制请求总数
CountDownLatch countDownLatch = new CountDownLatch(CLIENT_REQUEST_COUNT);
ExecutorService executorService = Executors.newFixedThreadPool(THREAD_TOTAL_COUNT);
for(int i=0 ;i<CLIENT_REQUEST_COUNT ; i++){
executorService.execute(new Runnable() {
@Override
public void run() {
try {
semaphore.acquire();
log.info("线程{}",Thread.currentThread().getName() + " 开始执行");
add();
semaphore.release();
} catch (InterruptedException e) {
e.printStackTrace();
}
countDownLatch.countDown();
}
});
}
countDownLatch.await();
log.info("执行完毕 当前count {}",count);
}
private static void add(){
count = count + 1;
}
}
执行多次我们会发现以上程序运行结果并没有达到我们的预期,具体原因我们后面再探讨，大家可以好好思考下原因？
2. 基本概念
2.1 并发
同时拥有两个或者多个线程，如果程序在单核处理器上运行，多个线程将交替的换入或者换出内存，这些线程是同时"存在"的，每个线程都处于执行过程中的某个状态，如果运行在多核处理器上，此时，程序中的每一个线程都将分配到一个处理器核上，因此可以同时运行。
多个线程操作相同资源，保证线程安全，合理使用资源。
2.2 高并发
高并发(High Concurrency)是互联网分布式架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。
服务能同时处理很多请求，提高程序性能。
2.3 CPU多级缓存与缓存一致性
CPU缓存级别.png
2.3.1 为什么需要缓存
cpu的频率太快了，快到主存跟不上，这样在处理器时钟周期内，cpu常常需要等待主存，浪费资源。cache的出现，是为了缓解cpu和主存之间速度的不匹配问题（结构：cpu->cache>memory）。
2.3.2 缓存的意义
- 时间局部性：如果某个数据被访问，那么在不久的将来它很可能被再次访问；
- 空间局部性：如果某个数据被访问，那么与它相邻的数据很快也可能被访问；
2.3.3 缓存一致性(MESI)
cpu缓存.png
MESI为了保证多个CPU缓存中共享数据的一致性，定义了cache line的四种状态，而CPU对cache line的四种操作可能会产生不一致的状态，因此缓存控制器监听到本地操作和远程操作的时候，需要对地址一致的cache line 状态进行一致性修改，从而保证数据在多个缓存之间保持一致性(M:modified E:Exclusive S:shared I:invalid) 。
MESI状态.png
- 被修改（Modified): 该缓存行只被缓存在该CPU的缓存中，并且是被修改过的（dirty),即与主存中的数据不一致，该缓存行中的内存需要在未来的某个时间点（允许其它CPU读取请主存中相应内存之前）写回（write back）主存。当被写回主存之后，该缓存行的状态会变成独享（exclusive)状态。
- 独享的（Exclusive): 该缓存行只被缓存在该CPU的缓存中，它是未被修改过的（clean)，与主存中数据一致。该状态可以在任何时刻当有其它CPU读取该内存时变成共享状态（shared)。同样地，当CPU修改该缓存行中内容时，该状态可以变成Modified状态。
- 共享的（Shared): 该状态意味着该缓存行可能被多个CPU缓存，并且各个缓存中的数据与主存数据一致（clean)，当有一个CPU修改该缓存行中，其它CPU中该缓存行可以被作废（变成无效状态（Invalid））。
- 无效的（Invalid): 该缓存是无效的（可能有其它CPU修改了该缓存行）。
2.3.4 状态转换和Cache操作
- local read（LR）：读本地cache中的数据；
- local write（LW）：将数据写到本地cache；
- remote read（RR）：其他核心发生read；
- remote write（RW）：其他核心发生write；
初始场景：在最初的时候，所有CPU中都没有数据，某一个CPU发生读操作，此时必然发生cache miss，数据从主存中读取到当前CPU的cache，状态为E（独占，只有当前CPU有数据，且和主存一致），此时如果有其他CPU也读取数据，则状态修改为S（共享，多个CPU之间拥有相同数据，并且和主存保持一致），如果其中某一个CPU发生数据修改，那么该CPU中数据状态修改为M（拥有最新数据，和主存不一致，但是以当前CPU中的为准），其他拥有该数据的核心通过缓存控制器监听到remote write行文，然后将自己拥有的数据的cache line状态修改为I（失效，和主存中的数据被认为不一致，数据不可用应该重新获取）。
modify
场景：当前CPU中数据的状态是modify，表示当前CPU中拥有最新数据，虽然主存中的数据和当前CPU中的数据不一致，但是以当前CPU中的数据为准；
LR：此时如果发生local read，即当前CPU读数据，直接从cache中获取数据，拥有最新数据，因此状态不变；
LW：直接修改本地cache数据，修改后也是当前CPU拥有最新数据，因此状态不变；
RR：因为本地内存中有最新数据，当本地cache控制器监听到总线上有RR发生的时，必然是其他CPU发生了读主存的操作，此时为了保证一致性，当前CPU应该将数据写回主存，而随后的RR将会使得其他CPU和当前CPU拥有共同的数据，因此状态修改为S；
RW：同RR，当cache控制器监听到总线发生RW，当前CPU会将数据写回主存，因为随后的RW将会导致主存的数据修改，因此状态修改成I；
exclusive
场景：当前CPU中的数据状态是exclusive，表示当前CPU独占数据（其他CPU没有数据），并且和主存的数据一致；
LR：从本地cache中直接获取数据，状态不变；
LW：修改本地cache中的数据，状态修改成M（因为其他CPU中并没有该数据，因此不存在共享问题，不需要通知其他CPU修改cache line的状态为I）；
RR：本地cache中有最新数据，当cache控制器监听到总线上发生RR的时候，必然是其他CPU发生了读取主存的操作，而RR操作不会导致数据修改，因此两个CPU中的数据和主存中的数据一致，此时cache line状态修改为S；
RW：同RR，当cache控制器监听到总线发生RW，发生其他CPU将最新数据写回到主存，此时为了保证缓存一致性，当前CPU的数据状态修改为I；
shared
场景：当前CPU中的数据状态是shared，表示当前CPU和其他CPU共享数据，且数据在多个CPU之间一致、多个CPU之间的数据和主存一致；
LR：直接从cache中读取数据，状态不变；
LW：发生本地写，并不会将数据立即写回主存，而是在稍后的一个时间再写回主存，因此为了保证缓存一致性，当前CPU的cache line状态修改为M，并通知其他拥有该数据的CPU该数据失效，其他CPU将cache line状态修改为I；
RR：状态不变，因为多个CPU中的数据和主存一致；
RW：当监听到总线发生了RW，意味着其他CPU发生了写主存操作，此时本地cache中的数据既不是最新数据，和主存也不再一致，因此当前CPU的cache line状态修改为I；
invalid
场景：当前CPU中的数据状态是invalid，表示当前CPU中是脏数据，不可用，其他CPU可能有数据、也可能没有数据；
LR：因为当前CPU的cache line数据不可用，因此会发生读内存，此时的情形如下。
A. 如果其他CPU中无数据则状态修改为E；
B. 如果其他CPU中有数据且状态为S或E则状态修改为S；
C. 如果其他CPU中有数据且状态为M，那么其他CPU首先发生RW将M状态的数据写回主存并修改状态为S，随后当前CPU读取主存数据，也将状态修改为S；
LW：因为当前CPU的cache line数据无效，因此发生LW会直接操作本地cache，此时的情形如下。
A. 如果其他CPU中无数据，则将本地cache line的状态修改为M；
B. 如果其他CPU中有数据且状态为S或E，则修改本地cache，通知其他CPU将数据修改为I，当前CPU中的cache line状态修改为M；
C. 如果其他CPU中有数据且状态为M，则其他CPU首先将数据写回主存，并将状态修改为I，当前CPU中的cache line转台修改为M；
RR：监听到总线发生RR操作，表示有其他CPU读取内存，和本地cache无关，状态不变；
RW：监听到总线发生RW操作，表示有其他CPU写主存，和本地cache无关，状态不变；
2.4 Java内存模型(Java Memory Mode,JMM)
Java虚拟机规范中定义一种内存模型来屏蔽掉各种硬件和操作系统的内存访问差异,以实现让Java程序在各种平台下都能达到一致性的内存访问效果。
JMM抽象结构.png
Java内存分为主内存和工作内存，主内存主要对应于Java堆中的对象实例数据部分。而工作内存则对应于虚拟机栈中的部分区域。从更低的层次上说，主内存就直接对应于物理硬件的内存，而为了获取更好的运行速度，虚拟机可能会让工作内存优先存储于寄存器和高速缓存中。
2.4.1 主、工作内存交互操作
关于主内存与工作内存之间具体的交互协议,Java内存模型定义了8种操作来完成。
- lock(锁定)：作用于主内存的变量，它把一个变量标识为一条线程独占的状态。
- unlock(解锁)：作用于主内存的变量，它把一个处于锁定状态的变量释放出来，释放后的变量才可以被其它线程锁定。
- read(读取)：作用于主内存的变量，它把一个变量的值从主内存传输到线程的工作内存，以便随后的load动作使用。
- load(载入)：作用于工作内存的变量，它把read操作从主内存中得到的变量值放入工作内存的变量副本中。
- use(使用)：作用于工作内存的变量，它把工作内存中的一个变量的值传递给执行引擎，每当虚拟机遇到一个需要使用到变量的值的字节码指令时将会执行这个操作。
- assign(赋值)：作用于工作内存的变量，它把一个从执行引擎接收到的值赋给工作内存的变量，每当虚拟机遇到一个给变量赋值的字节码指令时执行这个操作。
- store(存储)：作用于工作内存的变量，它把工作内存中一个变量的值传递到主内存中，以便随后的write操作使用。
- write(写入)：作用于主内存的变量，它把store操作从工作内存中得到的变量值放入主内存变量中。
同步操作与规则.png
于此同时，JMM还规定了在执行上述8中操作时必须满足如下规则
- 不允许read和load、store和write操作之一单独出现，即不允许一个变量从主内存读取了但工作内存不接受，或者工作内存发起回写了但主内存不接受的情况出现。
- 不允许一个线程丢弃它的最近的assign操作，即变量在工作内存中改变了之后必须把变化同步回主内存。
- 不允许一个线程无原因地把数据从线程的工作内存同步回主内存中。
- 一个新的变量只能在主内存中"诞生"，不允许工作内存中直接使用一个未被初始化(load或assign)的变量，换句话说，就是对一个变量实施use、store操作之前，必须先执行过assign和load操作。
- 一个变量在同一时刻只允许一条线程对其进行lock操作，但lock操作可以被同一条线程重复执行多次，多次执行lock后，只有执行相同次数的unlock操作，变量才会被解锁。
- 如果对一个变量执行lock操作，那将会清空工作内存中此变量的值，在执行引擎使用这个变量前，需要重新执行load或assign操作初始化变量的值。
- 如果一个变量事先没有被lock操作锁定，那就不允许对它执行unlock操作，也不允许去unlock一个被其它线程锁定住的变量。
- 对一个变量执行unlock操作之前，必须先把此变量同步回主内存中(执行store、write操作)
网友评论