美文网首页
HashMap详解(基于Java8)

HashMap详解(基于Java8)

作者: tcny | 来源:发表于2020-03-01 19:17 被阅读0次

    前言

    HashMap是程序设计里的常见数据结构,用于映射(Key-Value)场景。本文结合源码探讨HashMap的存储结构和功能实现。相对 JDK 7,JDK 8 对HashMap进行了大量优化,考虑到 JDK 8 已经是目前最流行的版本,所以,本文只关注JDK 8中的实现。

    什么是HashMap

    首先 Map 是一个拥有键(key) - 值(value)的数据结构的抽象,一个 key 值对应一个 value。HashMap 是 Map 的一个基于哈希(hash)表的实现。

    工作原理

    存储结构

    HashMap 内部存储结构由数组、链表、红黑树三部分组成。如图: Java8 HashMap 结构

    核心原理简述

    Map 接口定义了put(key, value)方法用于向 Map 中增加数据,get(key)方法查询key对应的value对象。
    当调用put(key,value)方法时,先对key进行hash得到hash值,对 table(数组)长度取模得出 table 的下标 i,如果table[i]没有元素,就赋值table[i].value = value,如果已经有值,且key不相同,此时table[i]充当的是链表的头,遍历找到链表的尾节点,并把value赋值给尾节点,如果此时链表的长度达到 8,调用treeifyBin()方法将链表转换为红黑树(同理remove元素后,如果树元素小于8再转换回链表),增加元素后如果元素数量超过threshold将进行扩容resize()

    注意,在put的过程中,如果遇到key与已存储数据的key相同的,则覆盖,并返回旧值,否则返回null。

    下边从字段开始,逐一讲述HashMap的核心原理。

    字段

       /**
        * 这就是Node数组了,Node继承了Map.Entry接口,所以本文中Entry和Node    
        * 是等价的
        */
       transient Node<K,V>[] table;
    
       /**
        * 所有键-值对的集合
        */
       transient Set<Map.Entry<K,V>> entrySet;
    
       /**
        * 已经存在的元素数量
        */
       transient int size;
    
       /**
        * 与ConcurrentModificationException有关,本文不详述,另发文详解
        */
       transient int modCount;
    
       /**
        * 下次需要扩容的临界值,size >= threshold就会扩容
        */
       int threshold;
    
       /**
        * 负载因子,threshold = 容器容量 * loadFactor。默认值0.75f。
        */
       final float loadFactor;
    

    构造方法

    总共四个构造方法:

        public HashMap() {
            this.loadFactor = DEFAULT_LOAD_FACTOR; // all other fields defaulted
        }
    
        public HashMap(int initialCapacity) {
            this(initialCapacity, DEFAULT_LOAD_FACTOR);
        }
    
        public HashMap(int initialCapacity, float loadFactor) {
            if (initialCapacity < 0)
                throw new IllegalArgumentException("Illegal initial capacity: " +
                                                   initialCapacity);
            if (initialCapacity > MAXIMUM_CAPACITY)
                initialCapacity = MAXIMUM_CAPACITY;
            if (loadFactor <= 0 || Float.isNaN(loadFactor))
                throw new IllegalArgumentException("Illegal load factor: " +
                                                   loadFactor);
            this.loadFactor = loadFactor;
            this.threshold = tableSizeFor(initialCapacity);
        }
    
    public HashMap(Map<? extends K, ? extends V> m) {
            this.loadFactor = DEFAULT_LOAD_FACTOR;
            putMapEntries(m, false);
        }
    

    重点看参数最多的第三个构造方法就可以了,前边两个无非是使用默认值。第四个是将其他Map对象作为参数。总之从逻辑上,最终都会调用第三个构造方法。
    默认负载因子是0.75f,一般不需要修改,默认初始容量是16,最大容量是1<<30(2^30)。

    第三个构造方法有两个参数,loadFactorinitialCapacityloadFactor是负载因子,默认是0.75由柏松分布得出,一般不需要改动,下文有介绍。initialCapacity是初始容量,传给tableSizeFor(),得到的结果赋值给threshold。这里需要注意的是,前文提到threshold等于容器容量 * loadFactory,与这里似乎矛盾,其实在resize()方法中,会对threshold重新赋值,至于作者为什么不单独管理一个capacity变量,选择复用threshold,可能是因为在第一次resize()以后就不再需要这个变量了,同时可以精简代码行数。

    tableSizeFor()方法

    构造方法中关键点是this.threshold = tableSizeFor(initialCapacity);它的作用确保数组的长度是2的幂,至于为什么下文会提及,我们看tableSizeFor()的内部实现:

        /**
         * Returns a power of two size for the given target capacity.
         */
        static final int tableSizeFor(int cap) {
            int n = cap - 1;
            n |= n >>> 1;
            n |= n >>> 2;
            n |= n >>> 4;
            n |= n >>> 8;
            n |= n >>> 16;
            return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
        }
    

    这就很有意思了,一串位运算,方法注释说这个方法是将capacity转换为一个不比capacity小的最小2的幂,即2^n形式的数。这是怎么做到的呢。

    先看中间部分:

            n |= n >>> 2;
            n |= n >>> 4;
            n |= n >>> 8;
            n |= n >>> 16;
    

    这段代码的作用是将n的有效位全部变为1,看一个极端的情况,只有最高为1,比如

    tableSizeFor原理
    可以看到最高位的1,在第一步向右传递1位,高2位都变成了1,第二步,高2位向右传递2位,高4位变成了1,第三步,高4位向右传递4位,高8位变成了1,第四步,高8位向右传递8位,高11位变成了1,至此,所有位都是1了,后边再做多少次异或|操作所有位都会是1。

    由于Java中 int 是32位,所以经过这五步之后,能够保证任意n的全部有效位都变为1,这时 n 就是 2的幂 - 1,所以要想得到 2的幂 只需要 +1 就可以了。

    注意,如果n本来就是2的幂,比如图例中的n = 1024(也就是2^10),n 的全部位变为1,即2047(也就是2^11 - 1),再加1就变成了2^11,n的2倍。这样就导致了存储空间有一半浪费。所以,int n = cap - 1;开始运算之前先减1,就是为了避免capacity本来就是2的幂,最终得到的是capacity的2倍。

    最后,处理n<0(此时capactiy==0, 因为构造方法中已经过滤了capacity < 0的情况),和 n大于最大值。

    put方法

        public V put(K key, V value) {
            return putVal(hash(key), key, value, false, true);
        }
    

    put()中先对key进行hash,再调用实际的putVal()方法。

    hash()方法

        static final int hash(Object key) {
            int h;
            return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
        }
    

    key == null时hash的结果是0,说明HashMap支持key==null。如果key != null,将key.hashCode与它的高位进行异或。之所以这样做,是因为hash值最终要用于定位哈希桶数组的位置,而哈希桶数组的长度是合数(2的幂),做取模运算时经常在低位就取得了模数,高位很难参与运算,从而造成大量碰撞。为解决这个问题,平衡了速度、效果和质量之后选择了高位异或的方式,让高位参与到定位哈希桶位置的计算中来。这样在某种程度上降低了hash碰撞,如果仍然发生碰撞,问题也不大,因为当发生大量碰撞(大于8)后,链表会转换为红黑树,检索效率也不算低。

    putVal()方法

    阅读之前需要掌握的知识点: Java中赋值语句的返回值是赋值符号(=)的右值,即
    c = (a = b); // c == b

    /**
         * Implements Map.put and related methods.
         *
         * @param hash hash for key 
         * @param key the key                
         * @param value the value to put
         * @param onlyIfAbsent if true, don't change existing value
         * @param evict if false, the table is in creation mode.
         * @return previous value, or null if none 返回key对应的旧的value
         */
        final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
                       boolean evict) {
            Node<K,V>[] tab; Node<K,V> p; int n, i;
            //① 第一次调用put方法时先初始化 table,
            if ((tab = table) == null || (n = tab.length) == 0)
                n = (tab = resize()).length;
            //② 定位key在hash表中的位置
            //③ 如果节点还是空的,直接赋值
            if ((p = tab[i = (n - 1) & hash]) == null)
                tab[i] = newNode(hash, key, value, null);
            else {
                //④ 节点不是空。e 是key相同的旧桶。
                Node<K,V> e; K k;
                //⑤ key相同,标记旧节点e
                if (p.hash == hash &&
                    ((k = p.key) == key || (key != null && key.equals(k))))
                    e = p;
                //⑥ 节点是树,说明已经转换为红黑树
                else if (p instanceof TreeNode)
                    e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
                //⑦ 节点还是链表,如果没有遇到相同key,就将对象加到链表尾部,之后判断长度如果超过8,转换为红黑树。遇到相同key,标记e = 旧值。
                else {
                    for (int binCount = 0; ; ++binCount) {
                        if ((e = p.next) == null) {
                            p.next = newNode(hash, key, value, null);
                            if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
                                treeifyBin(tab, hash);
                            break;
                        }
                        if (e.hash == hash &&
                            ((k = e.key) == key || (key != null && key.equals(k))))
                            break;
                        p = e;
                    }
                }
                // ⑧ 判断是否需要替换已有的节点, 返回旧值
                if (e != null) { // existing mapping for key
                    V oldValue = e.value;
                    if (!onlyIfAbsent || oldValue == null)
                        e.value = value;
                    afterNodeAccess(e);
                    return oldValue;
                }
            }
            // modeCount 与 ConcurrentModificationException有关,另行讲述
            ++modCount;
            // ⑨ 计数器+1,如果大于阈值,进行扩容。返回null。
            if (++size > threshold)
                resize();
            afterNodeInsertion(evict);
            return null;
        }
    

    putVal()的过程上图中的注释已经说的比较清楚了,有几个点需要注意。

    • 定位算法
      i = (n - 1) & hash
      通常应该是取模%运算,为什么这里是 & 呢。
      前文提到哈希桶数组的length是2的幂,此时hash % lengthhash & (length - 1)等价,读者可以自己用二进制计算一下。简直妙不可言。

    • threshold为什么是0.75f
      看一下HashMap源码的部分注释:

         * In
         * usages with well-distributed user hashCodes, tree bins are
         * rarely used.  Ideally, under random hashCodes, the frequency of
         * nodes in bins follows a Poisson distribution
         * (http://en.wikipedia.org/wiki/Poisson_distribution) with a
         * parameter of about 0.5 on average for the default resizing
         * threshold of 0.75, although with a large variance because of
         * resizing granularity. Ignoring variance, the expected
         * occurrences of list size k are (exp(-0.5) * pow(0.5, k) /
         * factorial(k)). The first values are:
         *
         * 0:    0.60653066
         * 1:    0.30326533
         * 2:    0.07581633
         * 3:    0.01263606
         * 4:    0.00157952
         * 5:    0.00015795
         * 6:    0.00001316
         * 7:    0.00000094
         * 8:    0.00000006
         * more: less than 1 in ten million
    

    当选用随机哈希算法时,发生碰撞的概率符合泊松分布,如果选择threshold=0.75f,链表的长度大于8(碰撞8次)是小概率事件,此时数组空间浪费率<=25%,链表长度为8,检索效率依然较高。假设threshold=0.5,链表长度更小,但数组空间浪费率<=50%,如果threshold=1.0,元素数量等于capacity时才扩容,后果是链表过长,空间浪费率很低,但检索效率降低。所以,链表长度为8,threshold=0.75 一般是比较合理的选择。如果实际场景中如果对空间或时间有较高要求,可以适当调整。

    以上是基于随机哈希算法的前提,实际哈希算法不可能完美,可能对于某些key的hash碰撞率很高,从而导致链表过长。至于这一点也不需要太担心,因为当链表长度大于8时会自动转换为红黑树,红黑树是平衡二叉树的一种,拥有较高的查询效率,限于篇幅,并且红黑树属于独立的知识点,本文不对红黑树展开讲述。

    综上,选择一个合适的hash算法是很重要的,这需要在实际业务中不断尝试摸索。

    resize()方法

        final Node<K,V>[] resize() {
            Node<K,V>[] oldTab = table;
            int oldCap = (oldTab == null) ? 0 : oldTab.length;
            int oldThr = threshold;
            int newCap, newThr = 0;
            // ① 非首次扩容
            if (oldCap > 0) {
                // ② 超出最大容量
                if (oldCap >= MAXIMUM_CAPACITY) {
                    threshold = Integer.MAX_VALUE;
                    return oldTab;
                }
                // ③ capacity扩大2倍,如果还没超出最大值threshold也扩大2倍
                else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
                         oldCap >= DEFAULT_INITIAL_CAPACITY)
                    newThr = oldThr << 1; // double threshold
            }
            // ④ 调用两个有参构造方法后的第一次初始化
            else if (oldThr > 0) // initial capacity was placed in threshold
                newCap = oldThr;
            // ⑤ 调用无参构造方法后的第一次初始化
            else {               // zero initial threshold signifies using defaults
                newCap = DEFAULT_INITIAL_CAPACITY;
                newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
            }
            // ⑥ ③条件不满足或④执行后,newThr==0,threshold赋值,如果没有溢出的话,threshold= capacity * loadFactor,否则等于最大值。
            if (newThr == 0) {
                float ft = (float)newCap * loadFactor;
                newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
                          (int)ft : Integer.MAX_VALUE);
            }
            threshold = newThr;
            @SuppressWarnings({"rawtypes","unchecked"})
            // ⑦ 用新长度初始化新的哈希桶数组
            Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
            // ⑧ 下边是将旧数据复制到新数组中的过程
            table = newTab;
            if (oldTab != null) {
            // ⑨ 遍历数组的每一个节点
                for (int j = 0; j < oldCap; ++j) {
                    Node<K,V> e;
                    if ((e = oldTab[j]) != null) {
                        oldTab[j] = null;
                        // ⑩ 如果节点只有一个元素,直接计算在新数组中的位置并赋值
                        if (e.next == null)
                            // 计算元素在新数组的位置,还是同样的配方,等价于 e.hash % newCap
                            newTab[e.hash & (newCap - 1)] = e;
                        // ⑪ 如果节点是树,进行处理
                        else if (e instanceof TreeNode)
                            ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
                        // ⑫ 如果节点是长度大于1的链表,链表中的每一个节点,要么按顺序移动到新数组中的相同位置,要么按顺序移动到新数组的 (当前位置 + oldCap) 处。
                        else { // preserve order
                            Node<K,V> loHead = null, loTail = null;
                            Node<K,V> hiHead = null, hiTail = null;
                            Node<K,V> next;
                            // ⑬ 遍历链表
                            do {
                                next = e.next;
                                // ⑭ 此处有黑科技,下文有介绍。目前只需知道loHead 是要放到新数组相同位置的链表,hiHead 是要移动到 (当前位置 + oldCap) 的链表。
                                if ((e.hash & oldCap) == 0) {
                                    if (loTail == null)
                                        loHead = e;
                                    else
                                        loTail.next = e;
                                    loTail = e;
                                }
                                else {
                                    if (hiTail == null)
                                        hiHead = e;
                                    else
                                        hiTail.next = e;
                                    hiTail = e;
                                }
                            } while ((e = next) != null);
                            // ⑮ 将分组的原链表移动到新数组
                            if (loTail != null) {
                                loTail.next = null;
                                newTab[j] = loHead;
                            }
                            if (hiTail != null) {
                                hiTail.next = null;
                                newTab[j + oldCap] = hiHead;
                            }
                        }
                    }
                }
            }
            return newTab;
        }
    

    上图源码中,标⑭的位置,如何通过(e.hash & oldCap) == 0就能判断是否需要在当前位置 + oldCap呢。

    按照正常的逻辑,应该用e.hash & (newCap - 1),大家可以想象,newCap - 1oldCap - 1 相比多了一个1,这一位正好是oldCap 的最高位(oldCap 和 newCap 都是2的幂,只有最高位是1,其他位都是0)。所以,只要判断e.hash & oldCap0还是1,如果是0e.hash & (newCap - 1) == e.hash & (oldCap - 1) ,反之,将大整整一个oldCap。看图例:

    图例

    线程安全性

    HashMap不是线程安全的,编程时需注意。这一点将来与线程安全的ConcurrentHashMap一起讨论。

    总结

    1. HashMap内部存储结构由数组、链表、红黑树组成。链表长度大于8时转为红黑树,元素数量大于threshold时进行扩容。
    2. threshold=0.75f,是均衡了空间开销和时间开销之后的结果,一般不需要修改。
    3. 扩容时开销较大,最好在初始化之前指定一个合适的capacity,提高性能。
    4. 源码中基于2的幂做了大量优化,位运算也值得学习。

    未尽之处

    • HashMap线程安全问题(与ConcurrentHashMap一起讨论)
    • modCount的作用(以后补充)
    • 红黑树(另行发文)
    • 迭代器(另行发文)

    相关文章

      网友评论

          本文标题:HashMap详解(基于Java8)

          本文链接:https://www.haomeiwen.com/subject/efifhhtx.html