并行的几个基本概念

并行主要的应用：

1. 图像处理
2. 服务器端程序

同步和异步：
同步方法：调用一旦开始，调用者必须等到方法调用返回后，才能继续后续的行为。
异步方法：调用一旦开始，方法调用就会立即返回，调用者可以继续后续操作，异步方法通常会在另一个线程中执行。

临界区：
临界区表示一种公共资源或者说数据共享，可以被多个线程使用，但是每一次，只能有一个线程去使用它，一旦临界区资源被占用，其他线程要想使用这个资源就必须等待。

阻塞和非阻塞：
阻塞（悲观策略：系统认为两个线程之间很有可能发生冲突，保护共享数据的第一优先级）：比如一个线程占用了临界区资源，其他所有需要这个资源的线程就必须在这个临界区等待。等待会导致线程挂起，这种情况就是阻塞。若果占用资源的线程一直不释放资源，其他所有阻塞在这个临界区上的线程都不能工作。
非阻塞（乐观策略：系统认为线程之间很有可能不会发生冲突，或者说概率不大，因此都无障碍执行，但是一旦检测到冲突，就应该进行回滚）：强调没有一个线程可以妨碍其他线程执行，所有线程都会尝试不断前行。

死锁、饥饿和活锁：
死锁、饥饿和活锁属于多线程活跃性问题，出现了这些情况，相关线程可能不在活跃，就是他可能很难再继续往下执行。

死锁：指线程之间相互占用资源，如果都不释放，程序则无法继续往下执行。
饥饿：指某一个或者多个线程因为种种原因无法获得所需要的资源，导致一直无法执行（例如该线程优先级太低），与死锁相比，饥饿在未来一段时间还是有可能解决的。
活锁：指两个线程之间主动释放资源给其他人使用，导致资源不断在两个线程间跳动，而没有一个线程可以同时拿到所有资源正常执行。

并发级别：
由于临界区的存在，多线程之间的并发必须受到控制，把并发的级别分为阻塞、无饥饿、无障碍、无锁、无等待。

1. 阻塞，一个线程是阻塞的，在其他线程释放资源之前，当前线程无法执行，可使用synchronized关键字或者重入锁得到的就是阻塞线程
2. 无饥饿，主要为非公平锁和公平锁，对于非公平锁，系统允许高优先级的线程插队，可能会产生饥饿；若锁是公平的，不管线程优先级多高，获取资源时都得排队，所有线程都有机会执行。
3. 无障碍，是一种最弱的非阻塞调度，对于无障碍的线程来说，若同时修改共享时，它就会立即对自己所作的修改进行回滚，确保数据安全。可能会出现所有线程都不断回滚自己的操作，导致没有一个线程走出临界区，影响系统正常执行。可以依赖一个"一致性标记"来实现，操作前和操作后都读取这个标记是否被更改过，如果不一致，则说明资源在操作时与其他线程冲突，需要重试操作。任何对资源修改操作的线程，再修改前，都要更新这个标记，表示数据不安全。
4. 无锁，所有线程都能尝试对临界区进行访问，无锁的并发保证必有一个线程能够在有限步内完成操作离开临界区。
5. 无等待，在无锁的基础上，要求所有线程都必须在有限步内完成，这样就不会引起饥饿问题。

并行的两个重要定律：

1. Amdahl定律：使用多核CPU对系统进行优化，优化效果取决于CPU的数量，以及系统中的串行程序比例。CPU数量越多，串行比例越低，则优化效果越好。
2. Gustafson定律：如果串行化比例很小，并行化比例很大，只要不断累加处理器，就能获得更快的速度。

JMM：

1. 原子性：指一个操作是不可中断的，即使在多个线程一起执行的时候，一个操作一旦开始，就不会被其它线程干扰。（例如，在32位的系统中，由于long型数据的读写不是原子性的，读写long类型的数据时就会出现相互干扰）
2. 可见性：指当一个线程修改了某一个共享变量的值时，其他线程是否能够立即知道这个修改。
3. 有序性：程序在执行时，可能会进行指令重排，重排后的指令与原指令的顺序未必一致。