美文网首页
ConcurrentHashMap源码学习

ConcurrentHashMap源码学习

作者: RealityVibe | 来源:发表于2021-03-23 16:11 被阅读0次

    本文基于JDK1.8源码。

    简述

    1. ConcurrentHashMap是线程安全的HashMap实现,底层通过一个table(Node[]数组)维护hash槽。table的size会被强制设定为2的幂,负载因子默认为0.75,通过sizeCtl记录当前负载因子下扩容阈值。
    2. hash槽的计算通过hash值的高16位与低16位做^运算后,再和table的size做&运算计算而得。
    3. ConcurrentHashMap通过Unsafe+CAS+Sychronized+Node实现线程安全,在真正转移的时候都会使用sychronized进行加锁。

    那些你不得不知道的节点

    节点总览

    Node

    ForwordingNode、TreeBin、TreeNode的父类,核心的字段就是hash值、key、value和用于在链表中指向下一个节点的next。

    static class Node<K,V> implements Map.Entry<K,V> {
        final int hash;
        final K key;
        volatile V val;
        volatile Node<K,V> next;
    
        Node(int hash, K key, V val, Node<K,V> next) {
            this.hash = hash;
            this.key = key;
            this.val = val;
            this.next = next;
        }
      ...
    }
    

    ForwordingNode

    hash值为-1代表当前的table正在进行复制迁移,同时标识当前槽位的节点已经完成迁移工作。ConcurrentHashMap充分发挥每个线程的作用,当T1线程正在迁移时,其它线程如T2不一定自旋等待,根据当前迁移工作分配情况,可能会协助进行复制迁移(具体由CPU数量、table大小、迁移进度等决定)。

    可以发现ForwardingNode的构造函数中调用父类的构造函数,有效参数只有hash值为MOVED(-1),同时用nextTable指向扩容后的数组。

    static final class ForwardingNode<K,V> extends Node<K,V> {
        final Node<K,V>[] nextTable;
        // 构造函数调用 
        ForwardingNode(Node<K,V>[] tab) {
            super(MOVED, null, null, null);
            this.nextTable = tab;
        }
      ...
    }
    

    TreeBin

    hash值为-2,保存指向红黑树根节点的句柄root。同时保存原有链表的第一个元素first。

    当一个槽位上的Node是TreeBin,这便代表着这个槽位长度已经超过8,并且将链表初始化为红黑树。

    // 这里的入参为TreeBin的first变量
    static <K,V> Node<K,V> untreeify(Node<K,V> b) {
        Node<K,V> hd = null, tl = null;
        for (Node<K,V> q = b; q != null; q = q.next) {
            Node<K,V> p = new Node<K,V>(q.hash, q.key, q.val, null);
            if (tl == null)
                hd = p;
            else
                tl.next = p;
            tl = p;
        }
        return hd;
    }
    

    TreeNode

    红黑树节点。在链表转化为红黑树后,由于TreeNode继承Node,所以依然保留了树化之前的链表关系,以便当节点数小于8时,重新转换为链表。

    除了继承Node的属性外,另有代表红黑树特性的属性:parent指向父节点、left指向左节点、right指向右节点、布尔值red代表当前节点是红色还是黑色(根节点和叶子节点都是黑色)。

    static final class TreeNode<K,V> extends Node<K,V> {
        TreeNode<K,V> parent;  // red-black tree links
        TreeNode<K,V> left;
        TreeNode<K,V> right;
        TreeNode<K,V> prev;    // needed to unlink next upon deletion
        boolean red;
    
        TreeNode(int hash, K key, V val, Node<K,V> next,
                 TreeNode<K,V> parent) {
            super(hash, key, val, next);
            this.parent = parent;
        }
    }
    

    如何计算hash槽位

    // 计算hash值 h为hashCode 
    // HASH_BITS值为(1<<31)-1 = Integer.MAX_VALUE = 0x7fffffff
    // (高16位^低16位) & HASH_BITS
    static final int spread(int h) {
        return (h ^ (h >>> 16)) & HASH_BITS;
    }
    
    final V putVal(K key, V value, boolean onlyIfAbsent) {
       ...
    if (key == null || value == null) throw new NullPointerException();
            int hash = spread(key.hashCode());
            int binCount = 0;
            for (Node<K,V>[] tab = table;;) {
                Node<K,V> f; int n, i, fh;
                if (tab == null || (n = tab.length) == 0)
                    tab = initTable();
                        // hash值和table的size-1 做&运算计算得到hash槽位的index
                        else if (f = tabAt(tab, i = (n - 1) & hash)) == null) {
                    if (casTabAt(tab, i, null,
                                 new Node<K,V>(hash, key, value, null)))
                        break;                   // no lock when adding to empty bin
                }
              ...
            }
       ...
     }
    

    扩容还是转树

    在ConcurretnHashMap中当一个槽位的元素数到达8后,会判断当前table的长度是否小于64,如果长度小于64会优先进行数组扩容。

    初始化数组initTable

    ConcurrentHashMap的数组为懒加载,在调用放置元素之前不会初始化table。当sizeCtl为-1,表示有线程正在初始化table。

    private final Node<K,V>[] initTable() {
        Node<K,V>[] tab; int sc;
        // 确认table还未初始化
        while ((tab = table) == null || tab.length == 0) {
           // 如果sizeCtl<0, 表示当前线程在初始化竞争中失败,自旋等待(yield会放弃CPU时间片)
            if ((sc = sizeCtl) < 0)
                Thread.yield(); // lost initialization race; just spin
            else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
              //SIZECTL:表示当前对象的内存偏移量,sc表示期望值,-1表示要替换的值,设定为-1表示要初始化表了
                try {
                    if ((tab = table) == null || tab.length == 0) {
                        int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
                        @SuppressWarnings("unchecked")
                        Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
                        table = tab = nt;
                       // 这里sc赋值为3/4的数组长度
                        sc = n - (n >>> 2);
                    }
                } finally {
                    sizeCtl = sc;
                }
                break;
            }
        }
        return tab;
    }
    

    put(K key, V value, boolean onlyIfAbsent)

    注意扩容包括,数组扩容和对应位置的树化。根据源码可以发现在添加元素的时候有大致四种情况:

    1. 数组尚未初始化,需要先初始化。可能同时存在一个线程也在put,这时候,两个线程会竞争下初始化数组的权利,失败的yield()自旋等待。
    2. 数组已经初始化,对应hash槽没有元素,通过CAS操作添加节点。值得注意的是,往空槽加元素的时候不会加锁。
    3. 数组正在扩容复制数据,当前线程会帮忙复制数据,帮忙前会判断nextTab是否已经初始化。
    4. 数组已经初始化完成,没有在扩容复制数据,对应hash槽非空。很好,又有两种情况,hash槽对应的仍然是链表,或者已经树化。
      1. 仍然是链表:遍历链表,替换旧值(非putIfAbsent)。没有旧值,就把元素放到最后。同时更新binCount,后续判断是否需要树化
      2. 已经树化:设置binCount=2,避免无效树化。调用putTreeVal()获取待更新节点。
    final V putVal(K key, V value, boolean onlyIfAbsent) {
        if (key == null || value == null) throw new NullPointerException();
        // 计算hash值
        int hash = spread(key.hashCode());
        int binCount = 0;
        for (Node<K,V>[] tab = table;;) {
            Node<K,V> f; int n, i, fh;
            // 构造函数中不会初始化table,在初次使用时进行初始化数组
            if (tab == null || (n = tab.length) == 0)
                tab = initTable();
            // 数组已经初始化,并且对应位置无元素,直接放进去
            else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
                if (casTabAt(tab, i, null,
                             new Node<K,V>(hash, key, value, null)))
                    break;                   // no lock when adding to empty bin
            }
            // 上个判断中获得了目标位置的节点,如果hash值为MOVED,
            // 代表当前正在进行扩容的数据复制阶段,当前线程也会参与,
            // 允许多线程复制的功能,来减少数组的复制所带来的性能损失
            else if ((fh = f.hash) == MOVED)
                tab = helpTransfer(tab, f);
            else {
                V oldVal = null;
                synchronized (f) {
                    if (tabAt(tab, i) == f) {
                        // fh>0 还是链表 转为树的时候是-2
                        if (fh >= 0) {
                            // 对应位置节点不为null,
                            binCount = 1;
                            // 开始遍历链表,直到找到对应
                            for (Node<K,V> e = f;; ++binCount) {
                                K ek;
                                if (e.hash == hash &&
                                    ((ek = e.key) == key ||
                                     (ek != null && key.equals(ek)))) {
                                    // 根据hash值找到对应的key位置,如果不是putIfAbsent就进行value替换
                                    // 记下oldValue用于返回
                                    oldVal = e.val;
                                    if (!onlyIfAbsent)
                                        e.val = value;
                                    break;
                                }
                                Node<K,V> pred = e;
                                // 没找到原有值,且已经到队列尾巴,直接加到末尾
                                if ((e = e.next) == null) {
                                    pred.next = new Node<K,V>(hash, key,
                                                              value, null);
                                    break;
                                }
                            }
                        }
                        // 当前hash槽对应的是树
                        else if (f instanceof TreeBin) {
                            Node<K,V> p;
                            // 这里设置为2,确保后面不会树化?
                            binCount = 2;
                            if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
                                                           value)) != null) {
                                oldVal = p.val;
                                if (!onlyIfAbsent)
                                    p.val = value;
                            }
                        }
                    }
                }
                // 因为是put方法,所以对应hash槽的元素会+1或不变,必不可能减少
                // 只需要考虑是否要树化
                if (binCount != 0) {
                    if (binCount >= TREEIFY_THRESHOLD)
                        treeifyBin(tab, i);
                    if (oldVal != null)
                        return oldVal;
                    break;
                }
            }
        }
        // size加1,里面很复杂。。
        addCount(1L, binCount);
        return null;
    }
    

    决定是扩容还是树化treeifyBin()

    决定树化会加锁。

    private final void treeifyBin(Node<K,V>[] tab, int index) {
        Node<K,V> b; int n, sc;
        if (tab != null) {
            // 判断数组长度是否小于64 ,小于64就扩容数组
            if ((n = tab.length) < MIN_TREEIFY_CAPACITY)
                tryPresize(n << 1);
           // 数组已经达到MIN_TREEIFY_CAPACITY,决定树化
            else if ((b = tabAt(tab, index)) != null && b.hash >= 0) {
                // 对数组对应索引的根节点加锁
                synchronized (b) {
                    // 确保当前节点仍然是第一个节点
                    if (tabAt(tab, index) == b) {
                        // 这里拷贝了一份链表,并把节点换成TreeNode(left,right未初始化)
                        // 真正初始化操作在setTabAt
                        TreeNode<K,V> hd = null, tl = null;
                        for (Node<K,V> e = b; e != null; e = e.next) {
                            TreeNode<K,V> p =
                                new TreeNode<K,V>(e.hash, e.key, e.val,
                                                  null, null);
                            if ((p.prev = tl) == null)
                                hd = p;
                            else
                                tl.next = p;
                            tl = p;
                        }
                        // 树化操作,赋值left right
                        setTabAt(tab, index, new TreeBin<K,V>(hd));
                    }
                }
            }
        }
    }
    

    putTreeNode

    final TreeNode<K,V> putTreeVal(int h, K k, V v) {
        Class<?> kc = null;
        boolean searched = false;
        for (TreeNode<K,V> p = root;;) {
            int dir, ph; K pk;
            if (p == null) {
                // 对应位置没有节点,直接放
                first = root = new TreeNode<K,V>(h, k, v, null, null);
                break;
            }
            else if ((ph = p.hash) > h)
                // hash值比当前节点小 之后找left节点
                dir = -1;
            else if (ph < h)
                // hash值比当前节点大 之后找right节点
                dir = 1;
            // 到这里代表hash值相等,到达目标位,返回当前值
            else if ((pk = p.key) == k || (pk != null && k.equals(pk)))
                return p;
            else if ((kc == null &&
                      (kc = comparableClassFor(k)) == null) ||
                     (dir = compareComparables(kc, k, pk)) == 0) {
                if (!searched) {
                    TreeNode<K,V> q, ch;
                    searched = true;
                    if (((ch = p.left) != null &&
                         (q = ch.findTreeNode(h, k, kc)) != null) ||
                        ((ch = p.right) != null &&
                         (q = ch.findTreeNode(h, k, kc)) != null))
                        return q;
                }
                dir = tieBreakOrder(k, pk);
            }
    
            TreeNode<K,V> xp = p;
            if ((p = (dir <= 0) ? p.left : p.right) == null) {
                TreeNode<K,V> x, f = first;
                first = x = new TreeNode<K,V>(h, k, v, f, xp);
                if (f != null)
                    f.prev = x;
                if (dir <= 0)
                    xp.left = x;
                else
                    xp.right = x;
                if (!xp.red)
                    x.red = true;
                else {
                    lockRoot();
                    try {
                        root = balanceInsertion(root, x);
                    } finally {
                        unlockRoot();
                    }
                }
                break;
            }
        }
        assert checkInvariants(root);
        return null;
    }
    

    tryPresize()扩容数组

    private final void tryPresize(int size) {
        int c = (size >= (MAXIMUM_CAPACITY >>> 1)) ? MAXIMUM_CAPACITY :
            tableSizeFor(size + (size >>> 1) + 1);
        int sc;
        while ((sc = sizeCtl) >= 0) {
            Node<K,V>[] tab = table; int n;
            // 整个table尚未初始化,在putAll方法中,直接会调用tryPresize,
            // 所以在这里需要判断tab是否已经初始化
            // 初始化后,把sizeCtl设置为0.75的数组长度
            if (tab == null || (n = tab.length) == 0) {
                n = (sc > c) ? sc : c;
                if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
                    try {
                        if (table == tab) {
                            @SuppressWarnings("unchecked")
                            Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
                            table = nt;
                            // 这里设置sizeCtl为0.75的size
                            sc = n - (n >>> 2);
                        }
                    } finally {
                      // 更新sizeCtl
                        sizeCtl = sc;
                    }
                }
            }
            // 什么情况会到这里?已经初始化过table,并且新增的元素数量并没有超过0.75数组长度
            else if (c <= sc || n >= MAXIMUM_CAPACITY)
                break; // 此时c已经过时,或者c已经超过最大值,无法再resize
            else if (tab == table) {
                int rs = resizeStamp(n);
              /*
               * 如果正在扩容Table的话,则帮助扩容,支路①
               * 否则的话,在支路②开始新的扩容
               * 在transfer操作,将第一个参数的table中的元素,移动到第二个元素的table中去,
               * 虽然此时第二个参数设置的是null,但是,在transfer方法中,当第二个参数为null的时候,
               * 会创建一个两倍大小的table
               */
                // ①
                if (sc < 0) {
                    Node<K,V>[] nt;
                    if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
                        sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
                        transferIndex <= 0)
                        break;
                    if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))
                        transfer(tab, nt);
                }
              // ②
                else if (U.compareAndSwapInt(this, SIZECTL, sc,
                                             (rs << RESIZE_STAMP_SHIFT) + 2))
                    transfer(tab, null);
            }
        }
    }
    

    扩容的核心方法transfer()

    private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
        int n = tab.length, stride;
        if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE) 
            // 这里对stride有最小值限制,避免占用太多CPU资源
            stride = MIN_TRANSFER_STRIDE; // subdivide range
        if (nextTab == null) {            // initiating
            try {
                @SuppressWarnings("unchecked")
                // 如果传入的nextTab是null(tryPresize中存在这种情况)
                // nextTab初始化为原tab长度的2倍
                Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1];
                nextTab = nt;
            } catch (Throwable ex) {      // try to cope with OOME
                sizeCtl = Integer.MAX_VALUE;
                return;
            }
            nextTable = nextTab;
            transferIndex = n;
        }
        int nextn = nextTab.length;
        ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
        boolean advance = true;
        boolean finishing = false; // to ensure sweep before committing nextTab
        for (int i = 0, bound = 0;;) {
            Node<K,V> f; int fh;
            while (advance) {
                int nextIndex, nextBound;
                if (--i >= bound || finishing)
                    advance = false;
                else if ((nextIndex = transferIndex) <= 0) {
                    i = -1;
                    advance = false;
                }
                else if (U.compareAndSwapInt
                         (this, TRANSFERINDEX, nextIndex,
                          nextBound = (nextIndex > stride ?
                                       nextIndex - stride : 0))) {
                    bound = nextBound;
                    i = nextIndex - 1;
                    advance = false;
                }
            }
            if (i < 0 || i >= n || i + n >= nextn) {
                int sc;
                if (finishing) {
                    nextTable = null;
                    table = nextTab;
                    sizeCtl = (n << 1) - (n >>> 1);
                    return;
                }
                if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
                    if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
                        return;
                    finishing = advance = true;
                    i = n; // recheck before commit
                }
            }
            else if ((f = tabAt(tab, i)) == null)
                advance = casTabAt(tab, i, null, fwd);
            else if ((fh = f.hash) == MOVED)
                advance = true; // already processed
            else {
                synchronized (f) {
                    if (tabAt(tab, i) == f) {
                        Node<K,V> ln, hn;
                        if (fh >= 0) {
                            int runBit = fh & n;
                            Node<K,V> lastRun = f;
                            for (Node<K,V> p = f.next; p != null; p = p.next) {
                                int b = p.hash & n;
                                if (b != runBit) {
                                    runBit = b;
                                    lastRun = p;
                                }
                            }
                            if (runBit == 0) {
                                ln = lastRun;
                                hn = null;
                            }
                            else {
                                hn = lastRun;
                                ln = null;
                            }
                            for (Node<K,V> p = f; p != lastRun; p = p.next) {
                                int ph = p.hash; K pk = p.key; V pv = p.val;
                                if ((ph & n) == 0)
                                    ln = new Node<K,V>(ph, pk, pv, ln);
                                else
                                    hn = new Node<K,V>(ph, pk, pv, hn);
                            }
                            setTabAt(nextTab, i, ln);
                            setTabAt(nextTab, i + n, hn);
                            setTabAt(tab, i, fwd);
                            advance = true;
                        }
                        else if (f instanceof TreeBin) {
                            TreeBin<K,V> t = (TreeBin<K,V>)f;
                            TreeNode<K,V> lo = null, loTail = null;
                            TreeNode<K,V> hi = null, hiTail = null;
                            int lc = 0, hc = 0;
                            for (Node<K,V> e = t.first; e != null; e = e.next) {
                                int h = e.hash;
                                TreeNode<K,V> p = new TreeNode<K,V>
                                    (h, e.key, e.val, null, null);
                                if ((h & n) == 0) {
                                    if ((p.prev = loTail) == null)
                                        lo = p;
                                    else
                                        loTail.next = p;
                                    loTail = p;
                                    ++lc;
                                }
                                else {
                                    if ((p.prev = hiTail) == null)
                                        hi = p;
                                    else
                                        hiTail.next = p;
                                    hiTail = p;
                                    ++hc;
                                }
                            }
                            ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
                                (hc != 0) ? new TreeBin<K,V>(lo) : t;
                            hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
                                (lc != 0) ? new TreeBin<K,V>(hi) : t;
                            setTabAt(nextTab, i, ln);
                            setTabAt(nextTab, i + n, hn);
                            setTabAt(tab, i, fwd);
                            advance = true;
                        }
                    }
                }
            }
        }
    }
    

    相关文章

      网友评论

          本文标题:ConcurrentHashMap源码学习

          本文链接:https://www.haomeiwen.com/subject/yumfhltx.html