美文网首页Java源码
【Java源码计划】Striped64<rt.jar_ja

【Java源码计划】Striped64<rt.jar_ja

作者: DeanChangDM | 来源:发表于2019-02-22 18:13 被阅读29次

    Striped64

    这个类,嗯有点难度,我会尽力,在进入真正的内容前有些概念或者知识需要补充,或者说从我的角度认为大家需要知道的,可能很多人都已经知道了。

    1. Strip(Striping) 中文直译是拆分,条纹化的意思,这个词汇或者这个思想在磁盘IO中应用很多,可以参考着理解这个概念。基本思想是热点数据分离。

    源码解析

    这个类是包内使用的,不对外,用于为那些支持在64位元素上动态分片的类提供统一的表现和技术实现

    这个类继承了Number类,这也就是说具体实现的子类也必须实现相关的内容

    这个类持有一个延迟初始化的表格,表格内存储了原子级别的变量更新,外加一个额外的base字段。表的大小是平方的。索引使用每个线程的哈希值掩码后得到。几乎所有这个类里面的定义都是包内可见的,这就意味着,被子类直接访问。

    表格内的元素是Cell类,Cell类是一个为了减少缓存争用而填充的AtomicLong的变种(通过 sun.misc.Contended)。此处可能涉及到sun.misc.Contended用于避免伪共享的相关内容。以前都是使用long padding ,jdk 1.8 开始使用sun.misc.Contended来替换。long padding的解决办法不怎么优雅,所以在jdk 1.7中甚至会惨遭“优化”,所以在1.7中程序员们绞尽脑汁避免这个优化。更详细的在关于伪共享的主题中记录。

    填充对于大多数原子来说其实是多余的,因为他们通常不规则的分布在内存中,因此彼此之间没有太多的互相干扰。但是驻留在数组中的源自对象通常都彼此相邻,因此,在没有这种预防措施的情况下很有可能出现伪共享,多个元素共享一行缓存,这对性能有着巨大的负面影响。

    在某种程度上,因为Cell类比较大,尽可能避免在使用之前创建,也就是说要尽量延后创建。如果没有竞争,那么所有的更新操作将对base字段实现。当发生第一次争用(也就是说如果第一次对base字段的CAS操作失败),这个table就会被初始化为2。当进一步的争用发生的时候,表的大小会增加一倍,直到达到这个数字等于挥着大于cpu的数量,由于是每次2倍,也就是说这个数字是2的n次幂。表应该在需要之前保持为null,也就是未使用的时候应该是是null。

    利用一个自旋锁(cellsBusy)来对初始化和table大小修改以及用新Cells填充slots提供锁保证。这个地方没有必要使用阻塞锁,如果锁不可达,线程可以尝试其他的slots,或者 尝试base字段。在这些重试期间,竞争加剧,但是降低了局部性,这仍然比阻塞锁来得好。

    线程的标识通过threadLocalRandom维护,实际是每个线程的哈希值。在第一个slot没出现竞争的时候,让它保持为未初始化状态0,出现竞争后初始化为通常不会和其他的的值冲突的值,比如线程的哈希码。在执行更新时发生CAS操作失败意味着出现了争用或者表碰撞,也有可能都有。当发生冲突时,如果表大小小于最大容量,把它的大小增加一倍,除了其他线程持情况。如果哈希后的slot为空,并且锁是可用的,那么创建一些新的Cell。如果存在了那么会进行CAS尝试。通过双重哈希进行重试,利用一个辅助哈希(Marsaglia XorShift随机数算法)来尝试寻找一个空闲的slot。

    表的大小是收到限制的,因为当线程数超过了cpu数量,假设每个线程都是绑定到一个cpu的,那么一定会存在一个完美的哈希函数,能够将这些线程映射到slot上,从而消除冲突。当我们达到最大容量时,我们通过随机改变冲突线程的哈希代码来搜索这个映射。搜索是随机的,并且只有通过CAS失败才能知道冲突,所以收敛速度可能很慢,而且由于线程通常不会永远绑定到CPU,所以可能根本不会发生。虽然尽管存在这些局限性,但观察到的争用率在这些情况下仍然较低。

    Cell可能会出现不可用的情况,包括进行哈希的线程终止,或者由于table扩容导致线程哈希不正确。不会尝试发现或者移除这些Cell,对于处于长时间运行得实例,争用可能会重复出现,所以这时候可能这些Cell又会需要,没有必要销毁,而对于短时间运行的实例,花费时间去销毁又没有什么必要。

    Cell类

    Atomiclong的填充变体,仅支持原始访问和CAS

    JVM内部注释:这里可能会在提供的情况下使用一个正式的CAS操作。这句话翻译出来好像不太好懂,原始主时中有个release-only form of CAS不太好理解,这句话的注释主要是给JVM实现的,CAS不适唯一的原子操作,这里跟C++有关,如果实在不明白,贴一个StackoverFlow的地址,用于深入研究release-only form of CAS

    //这个注解会交个jvm进行合适的填充
    //关于这个注解
    @sun.misc.Contended static final class Cell {
            //关于volatile此处不会展开了
            //这个变量是实际承载这个真实值的
            volatile long value;
            //构造方法
            Cell(long x) { value = x; }
            //执行CAS操作
            final boolean cas(long cmp, long val) {
                //具体实现的CAS使用了UNSAFE,具体在UNSAFE中记录
                return UNSAFE.compareAndSwapLong(this, valueOffset, cmp, val);
            }
    
            // Unsafe mechanics
            //就像UnSafe字面意义一样,减少使用这个类,毕竟它等同于使用了c的指针
            private static final sun.misc.Unsafe UNSAFE;
            //
            private static final long valueOffset;
            //静态初始化块,用于初始化UNSAFE和valueOffset
            static {
                try {
                    //Unsafe使用了单例模式
                    //所以用getUnsafe获取实例。
                    //Unsafe做了限制,
                    //如果是一个普通的调用getUnsafe会报SecurityException异常
                    //只有主类加载器才能调用这个方法。
                    UNSAFE = sun.misc.Unsafe.getUnsafe();
                    Class<?> ak = Cell.class;
                    //计算value元素的偏移量是多少
                    valueOffset = UNSAFE.objectFieldOffset
                        (ak.getDeclaredField("value"));
                } catch (Exception e) {
                    throw new Error(e);
                }
            }
        }
    

    接着是一些变量

        /** CPU的核心数,和table的大小有关*/
        static final int NCPU = Runtime.getRuntime().availableProcessors();
    
        /**
         * 用来存储Cell的table,在非空情况下一定是2的幂长度
         */
        transient volatile Cell[] cells;
    
        /**
         * base字段, 主要在非竞争情况下使用, 也同时充当table在初始化期间的竞争后备
         *通过CAS操作进行更新.
         */
        transient volatile long base;
    
        /**
         * 自旋锁 (通过CAS操作加锁)用于在对Cells做创建或者调整大小的时候进行加锁。
         */
        transient volatile int cellsBusy;
    
        /**
         * 默认函数使用default修饰,也就是包内有效。
         */
        Striped64() {
        }
    

    一些方法

    
    /**
         * 通过CAS操作,修改Base字段
         */
        final boolean casBase(long cmp, long val) {
            return UNSAFE.compareAndSwapLong(this, BASE, cmp, val);
        }
    
        /**
         * 通过CAS操作修改cellsBusy字段,从0修改为1,标示获得锁。
         */
        final boolean casCellsBusy() {
            return UNSAFE.compareAndSwapInt(this, CELLSBUSY, 0, 1);
        }
    
        /**
         * 返回当前线程的标示.
         * 由于包限制,这段代码是从ThreadLocalRandom拷贝过来的
         * Duplicated from ThreadLocalRandom because of packaging restrictions.
         */
        static final int getProbe() {
            return UNSAFE.getInt(Thread.currentThread(), PROBE);
        }
    
        /**
         * 利用伪随机算法加强标识后,将为当前线程记录这个标识。
         * 由于包限制,这段代码是从ThreadLocalRandom拷贝过来的
         * Duplicated from ThreadLocalRandom because of packaging restrictions.
         */
        static final int advanceProbe(int probe) {
            probe ^= probe << 13;   // xorshift
            probe ^= probe >>> 17;
            probe ^= probe << 5;
            UNSAFE.putInt(Thread.currentThread(), PROBE, probe);
            return probe;
        }
    

    接下来是最大的重头戏,很复杂的两个方法,尽力讲解

    这个方法处理初始化、调整大小、创建新Cells和争用等情况。
    这个方法由于有比较乐观的重试机制,所以存在常见的非模块化问题,依赖于重试

        //x  元素
        //fn  更新函数,如果是add可以为null,
        //这个约定避免了longadder中定义额外的变量或者函数
        //wasUncontended 如果CAS在调用之前失败了,这个值为false
        final void longAccumulate(long x, LongBinaryOperator fn,
                                  boolean wasUncontended) {
            
            int h;
            //获取当前线程的probe值,如果为0,则需要初始化该线程的probe值
            if ((h = getProbe()) == 0) {
                // 强制初始化
                ThreadLocalRandom.current();
                h = getProbe();
                wasUncontended = true;
            }
            //如果上一个slot不为空置为true
            //碰撞标记
            boolean collide = false;                
            for (;;) {
                Cell[] as; Cell a; int n; long v;
                //Cells不为空,进行操作
                if ((as = cells) != null && (n = as.length) > 0) {
                    //通过(hashCode & (length - 1))这种算法来实现取模
                    //如果当前位置为null说明需要初始化
                    if ((a = as[(n - 1) & h]) == null) {
                        //判断锁状态
                        //尝试添加新的cell
                        if (cellsBusy == 0) {       // Try to attach new Cell
                            Cell r = new Cell(x);   // Optimistically create
                            //再次判断锁状态,同时获取锁
                            if (cellsBusy == 0 && casCellsBusy()) {
                                boolean created = false;
                                //利用try确保处于获取锁的状态下
                                try {               // Recheck under lock
                                    Cell[] rs; int m, j;
                                    if ((rs = cells) != null &&
                                        (m = rs.length) > 0 &&
                                        rs[j = (m - 1) & h] == null) {
                                        //Cell添加
                                        rs[j] = r;
                                        //标示创建
                                        created = true;
                                    }
                                } finally {
                                    //释放锁
                                    cellsBusy = 0;
                                }
                                //创建成功跳出,否则重试
                                if (created)
                                    break;
                                continue;           // Slot is now non-empty
                            }
                        }
                        collide = false;
                    }
                    //运行到此说明cell的对应位置上已经有相应的Cell了,
                    //不需要初始化了
                    //CAS操作已经失败了,出现了竞争
                    else if (!wasUncontended)       // CAS already known to fail
                        wasUncontended = true;      // Continue after rehash
                    //尝试去修改a上的计数,
                    //a为Cell数组中index位置上的cell    
                    else if (a.cas(v = a.value, ((fn == null) ? v + x :
                                                 fn.applyAsLong(v, x))))
                        break;
                    //cell数组最大为cpu的数量,
                    //cells != as表明cells数组已经被更新了 
                    //标记为最大状态或者说是过期状态
                    else if (n >= NCPU || cells != as)
                        collide = false;            // At max size or stale
                    
                    else if (!collide)
                        collide = true;
                    //尝试获取锁之后扩大Cells
                    else if (cellsBusy == 0 && casCellsBusy()) {
                        try {
                            if (cells == as) {      // Expand table unless stale
                                //Cell数组扩容,每次扩容为原来的两倍
                                Cell[] rs = new Cell[n << 1];
                                for (int i = 0; i < n; ++i)
                                    rs[i] = as[i];
                                cells = rs;
                            }
                        } finally {
                            cellsBusy = 0;
                        }
                        collide = false;
                        continue;                   // Retry with expanded table
                    }
                    h = advanceProbe(h);
                }
                //此分支表明Cells是空的,所以要获取锁,然后初始化Cells
                else if (cellsBusy == 0 && cells == as && casCellsBusy()) {
                    boolean init = false;
                    try {                           // Initialize table
                        if (cells == as) {
                            Cell[] rs = new Cell[2];
                            rs[h & 1] = new Cell(x);
                            cells = rs;
                            init = true;
                        }
                    } finally {
                        cellsBusy = 0;
                    }
                    if (init)
                        break;
                }
                //此处表明Cells为空,并且初始化的时候获取锁失败,直接在base上进行CAS
                else if (casBase(v = base, ((fn == null) ? v + x :
                                            fn.applyAsLong(v, x))))
                    break;                          // Fall back on using base
            }
        }
    

    这一段的核心是这样的:

    • longAccumulate会根据当前线程来计算一个哈希值,然后根据算法(hashCode & (length - 1))来达到取模的效果以定位到该线程被分散到的Cell数组中的位置
    • 如果Cell数组还没有被创建,那么就去获取cellBusy这个锁(相当于锁,但是更为轻量级),如果获取成功,则初始化Cell数组,初始容量为2,初始化完成之后将x包装成一个Cell,哈希计算之后分散到相应的index上。如果获取cellBusy失败,那么会试图将x累计到base上,更新失败会重新尝试直到成功。
    • 如果Cell数组已经被初始化过了,那么就根据线程的哈希值分散到一个Cell数组元素上,获取这个位置上的Cell并且赋值给变量a,如果a为null,说明该位置还没有被初始化,那么就初始化,当然在初始化之前需要竞争cellBusy变量。
    • 如果Cell数组的大小已经最大了(大于等于CPU的数量),那么就需要重新计算哈希,来重新分散当前线程到另外一个Cell位置上再走一遍该方法的逻辑,否则就需要对Cell数组进行扩容,然后将原来的计数内容迁移过去。由于Cell里面保存的是计数值,所以扩容后没有必要做其他处理,直接根据index将旧的Cell数组内容复制到新的Cell数组中。

    下面的方法和上面的一样,只不过加入了long和double的转换,如果想要和Long的合并到一起需要在太多的地方加入这种转换,可能会带来额外的开销,为了减少开销,只好通过复制粘贴过来进行调整和维护 。

    
    final void doubleAccumulate(double x, DoubleBinaryOperator fn,
                                    boolean wasUncontended) {
            int h;
            if ((h = getProbe()) == 0) {
                ThreadLocalRandom.current(); // force initialization
                h = getProbe();
                wasUncontended = true;
            }
            boolean collide = false;                
            for (;;) {
                Cell[] as; Cell a; int n; long v;
                if ((as = cells) != null && (n = as.length) > 0) {
                    if ((a = as[(n - 1) & h]) == null) {
                        if (cellsBusy == 0) {       // Try to attach new Cell
                            Cell r = new Cell(Double.doubleToRawLongBits(x));
                            if (cellsBusy == 0 && casCellsBusy()) {
                                boolean created = false;
                                try {               // Recheck under lock
                                    Cell[] rs; int m, j;
                                    if ((rs = cells) != null &&
                                        (m = rs.length) > 0 &&
                                        rs[j = (m - 1) & h] == null) {
                                        rs[j] = r;
                                        created = true;
                                    }
                                } finally {
                                    cellsBusy = 0;
                                }
                                if (created)
                                    break;
                                continue;           // Slot is now non-empty
                            }
                        }
                        collide = false;
                    }
                    else if (!wasUncontended)       // CAS already known to fail
                        wasUncontended = true;      // Continue after rehash
                    else if (a.cas(v = a.value,
                                   ((fn == null) ?
                                    Double.doubleToRawLongBits
                                    (Double.longBitsToDouble(v) + x) :
                                    Double.doubleToRawLongBits
                                    (fn.applyAsDouble
                                     (Double.longBitsToDouble(v), x)))))
                        break;
                    else if (n >= NCPU || cells != as)
                        collide = false;            // At max size or stale
                    else if (!collide)
                        collide = true;
                    else if (cellsBusy == 0 && casCellsBusy()) {
                        try {
                            if (cells == as) {      // Expand table unless stale
                                Cell[] rs = new Cell[n << 1];
                                for (int i = 0; i < n; ++i)
                                    rs[i] = as[i];
                                cells = rs;
                            }
                        } finally {
                            cellsBusy = 0;
                        }
                        collide = false;
                        continue;                   // Retry with expanded table
                    }
                    h = advanceProbe(h);
                }
                else if (cellsBusy == 0 && cells == as && casCellsBusy()) {
                    boolean init = false;
                    try {                           // Initialize table
                        if (cells == as) {
                            Cell[] rs = new Cell[2];
                            rs[h & 1] = new Cell(Double.doubleToRawLongBits(x));
                            cells = rs;
                            init = true;
                        }
                    } finally {
                        cellsBusy = 0;
                    }
                    if (init)
                        break;
                }
                else if (casBase(v = base,
                                 ((fn == null) ?
                                  Double.doubleToRawLongBits
                                  (Double.longBitsToDouble(v) + x) :
                                  Double.doubleToRawLongBits
                                  (fn.applyAsDouble
                                   (Double.longBitsToDouble(v), x)))))
                    break;                          // Fall back on using base
            }
        }
    

    下面是Unsafe的相关结构

    private static final sun.misc.Unsafe UNSAFE;
        private static final long BASE;
        private static final long CELLSBUSY;
        private static final long PROBE;
        static {
            try {
                UNSAFE = sun.misc.Unsafe.getUnsafe();
                Class<?> sk = Striped64.class;
                BASE = UNSAFE.objectFieldOffset
                    (sk.getDeclaredField("base"));
                CELLSBUSY = UNSAFE.objectFieldOffset
                    (sk.getDeclaredField("cellsBusy"));
                Class<?> tk = Thread.class;
                PROBE = UNSAFE.objectFieldOffset
                    (tk.getDeclaredField("threadLocalRandomProbe"));
            } catch (Exception e) {
                throw new Error(e);
            }
        }
    

    相关文章

      网友评论

        本文标题:【Java源码计划】Striped64<rt.jar_ja

        本文链接:https://www.haomeiwen.com/subject/zlexsqtx.html