CPU缓存和内存屏障

CPU性能优化手段

1. 缓存
2. 运行时指令重排

缓存

为了提高程序运行的性能,处理器大多会利用缓存来提高性能,而避免访问主存的时间开销

现代CPU多级缓存模型

image.png

缓存为什么能提高性能

1. 局部性原理

时间局部性原理：如果某个数据被访问，那么在不久的将来它很可能再次被访问
空间局部性原理：如果某个数据被访问，那么它相邻的数据很快也可能被访问

2. CPU对缓存的访问速度高于主存,访问速度L1>L2>L3>主存

缓存带来的问题——缓存一致性问题

当多个处理器的运算任务都涉及同一块主内存区域时，将可能导致各自的缓存数据不一致的情况.如果真的发生这种情况，需要各个处理器访问缓存时都遵循一些协议，在读写时要根据协议来进行操作，这类协议有MSI、MESI等

缓存同步协议

MESI协议,它规定每条缓存有个状态为,同时定义了四个状态,多处理器时,单个CPU对缓存中数据进行了改动需要通知给其他CPU.也就意味着CPU处理器要控制自己的读写操作还要监听其他CPU发出的通知,从而保证数据最终一致

状态	说明
修改态(Modified)	此Cache行已被修改过,内容以不同于主存,为次Cache专有
专有态(Exclusive)	此Cache行内容同于主存,单不出现于其他Cache中
共享台(Shared)	此Cache行内容同于主存,当也出现于其他Cache中
无效态(Invalid)	此Cache行内容无效

现代CPU与内存交互模型

image.png

运行时指令重排

当CPU写缓存时发现缓冲区块正被其他CPU占用,为了提高CPU处理性能可能将后面的读缓存命令优先执行

as-if-serial语意

不管怎么重排序,单线程程序的执行结果不能被改变.编译器,runtime和处理器都必须遵守as-if-serial语意.
也就是:编译器和处理器不会对存在数据依赖关系的操作做重排序

缓存和重排序带来的问题

1. CPU高速缓存的问题

• 缓存中的数据与主内存的数据并不是实时同步的,各个CPU间缓存的数据夜不是实时同步的.同一个时间点,各个CPU所看到同一内存地址的数据值可能不一致.

2. CPU执行指令重排序优化的问题

• 虽然遵守as-if-serial语意,但仅在单CPU执行的情况下能保证结果正确,多核多线程中,可能出现乱序执行,导致程序运行结果错误.

内存屏障

处理器提供了两个内存屏障指令用于解决缓存和重排序带来的两个问题

1. 写内存屏障(Store Memory Barrier):在指令后插入Store Barrier,能让写入缓存中的最新数据更新写入主内存让其他线程可见.
2. 读内存屏障(Load Memory Barrier): 在指令前插入Load Barrier.可以让高速缓存中的数据失效,强制从主内存中加载数据.