美文网首页Java学习笔记技术干货
16-迭代器与ConcurrentModificationExc

16-迭代器与ConcurrentModificationExc

作者: 史路比 | 来源:发表于2018-02-04 22:02 被阅读56次

    迭代器与ConcurrentModificationException

    Vector、ArrayList在迭代的时候如果同时对其进行修改就会抛出ConcurrentModificationException异常。下面我们就来讨论以下这个异常出现的原因以及解决办法。

    无论是直接迭代还是在Java5.0引入的for-each循环语法中,对容器类进行迭代的标准方式都是使用Iterator。然而,如果有其它线程并发地修改容器,那么即使是使用迭代器也无法避免在迭代期间对容器加锁。在设计同步容器类的迭代器时并没有考虑到并发修改的问题,并且它们表现出的行为是“及时失败”(fail-fast)的。这意味着,当它们发现容器在迭代过程中被修改时,就会抛出一个ConcurrentModificationException异常。

    这种“及时失败”的迭代器并不是一种完备的处理机制,而只是“善意地”捕获并发错误,因此只能作为并发问题的预警指示器。它们采用的实现方式是,将计数器的变化与容器关联起来:如果在迭代期间计数器被修改,那么hasNext或next将抛出ConcurrentModificationException。然而,这种检查是在没有同步的情况下进行的,因此可能会看到失效的计数值,而迭代器可能并没有意识到已经发生了修改。这是一种设计上的权衡,从而降低并发修改操作的检测代码对程序性能带来的影响。

    ConcurrentModificationException异常出现的原因

    先看下面这段代码:

    public class Test {
        public static void main(String[] args)  {
            ArrayList<Integer> list = new ArrayList<Integer>();
            list.add(2);
            Iterator<Integer> iterator = list.iterator();
            while (iterator.hasNext()) {
                Integer integer = iterator.next();
                if (integer == 2)
                    list.remove(integer);
            }
        }
    }
    

    执行结果:

    Exception in thread "main" java.util.ConcurrentModificationException
    at java.util.ArrayList$Itr.checkForComodification(Unknown Source)
    at java.util.ArrayList$Itr.next(Unknown Source)
    at Test.main(Test.java:9)

    从异常信息可以发现,异常出现在checkForComodification()方法中。

    我们不忙看checkForComodification()方法的具体实现,我们先根据程序的代码一步一步看ArrayList源码的实现:

    首先看ArrayList的iterator()方法的具体实现,查看源码发现在ArrayList的源码中并没有iterator()这个方法,那么很显然这个方法应该是其父类或者实现的接口中的方法,我们在其父类AbstractList中找到了iterator()方法的具体实现,下面是其实现代码:

    public Iterator<E> iterator() {
        return new Itr();
    }
    

    从这段代码可以看出返回的是一个指向Itr类型对象的引用,我们接着看Itr的具体实现,在AbstractList类中找到了Itr类的具体实现,它是AbstractList的一个成员内部类,下面这段代码是Itr类的所有实现:

    private class Itr implements Iterator<E> {
        int cursor = 0;
        int lastRet = -1;
        int expectedModCount = modCount;
        public boolean hasNext() {
            return cursor != size();
        }
        public E next() {
            checkForComodification();
            try {
                E next = get(cursor);
                lastRet = cursor++;
                return next;
            } catch (IndexOutOfBoundsException e) {
                checkForComodification();
                throw new NoSuchElementException();
            }
        }
        public void remove() {
            if (lastRet == -1)
                throw new IllegalStateException();
            checkForComodification();
     
            try {
                AbstractList.this.remove(lastRet);
                if (lastRet < cursor)
                    cursor--;
                lastRet = -1;
                expectedModCount = modCount;
            } catch (IndexOutOfBoundsException e) {
                throw new ConcurrentModificationException();
            }
        }
     
        final void checkForComodification() {
            if (modCount != expectedModCount)
                throw new ConcurrentModificationException();
        }
    }
    

    首先我们看一下它的几个成员变量:

    1)cursor:表示下一个要访问的元素的索引,从next()方法的具体实现就可看出;

    2)lastRet:表示上一个访问的元素的索引;

    3)expectedModCount:表示对ArrayList修改次数的期望值,它的初始值为modCount;

    4)modCount是AbstractList类中的一个成员变量。

    protected transient int modCount = 0;
    

    该值表示对List的修改次数,查看ArrayList的add()和remove()方法就可以发现,每次调用add()方法或者remove()方法就会对modCount进行加1操作。

    好了,到这里我们再看看上面的程序:

    当调用list.iterator()返回一个Iterator之后,通过Iterator的hashNext()方法判断是否还有元素未被访问,我们看一下hasNext()方法,hashNext()方法的实现很简单:

    public boolean hasNext() {
        return cursor != size();
    }
    

    如果下一个访问的元素下标不等于ArrayList的大小,就表示有元素需要访问,这个很容易理解,如果下一个访问元素的下标等于ArrayList的大小,则肯定到达末尾了。

    然后通过Iterator的next()方法获取到下标为0的元素,我们看一下next()方法的具体实现:

    public E next() {
        checkForComodification();
        try {
            E next = get(cursor);
            lastRet = cursor++;
            return next;
        } catch (IndexOutOfBoundsException e) {
            checkForComodification();
            throw new NoSuchElementException();
        }
    }
    

    这里是非常关键的地方:首先在next()方法中会调用checkForComodification()方法,然后根据cursor的值获取到元素,接着将cursor的值赋给lastRet,并对cursor的值进行加1操作。初始时,cursor为0,lastRet为-1,那么调用一次之后,cursor的值为1,lastRet的值为0。注意:此时modCount为1,expectedModCount也为1(因为调用了一次ArrayList的add方法)。

    接着往下看,程序中判断当前元素的值是否为2,若为2,则调用list.remove()方法来删除该元素。

    我们看一下在ArrayList中的remove()方法做了什么:

    public boolean remove(Object o) {
        if (o == null) {
            for (int index = 0; index < size; index++)
                if (elementData[index] == null) {
                    fastRemove(index);
                    return true;
                }
        } else {
            for (int index = 0; index < size; index++)
                if (o.equals(elementData[index])) {
                    fastRemove(index);
                    return true;
                }
        }
        return false;
    }
     
     
    private void fastRemove(int index) {
        modCount++;
        int numMoved = size - index - 1;
        if (numMoved > 0)
            System.arraycopy(elementData, index+1, elementData, index,
                    numMoved);
        elementData[--size] = null; // Let gc do its work
    }
    

    通过remove方法删除元素最终是调用的fastRemove()方法,在fastRemove()方法中,首先对modCount进行加1操作(因为对集合修改了一次),然后接下来就是删除元素的操作,最后将size进行减1操作,并将引用置为null以方便垃圾收集器进行回收工作。

    那么注意此时各个变量的值:对于iterator,其expectedModCount为1,cursor的值为1,lastRet的值为0。

    对于list,其modCount为2,size为0。

    接着看程序代码,执行完删除操作后,继续while循环,调用hasNext()方法判断,由于此时cursor为1,而size为0,那么返回true,所以继续执行while循环,然后继续调用iterator的next()方法。

    注意,此时要注意next()方法中的第一句:checkForComodification()。

    在checkForComodification方法中进行的操作是:

    final void checkForComodification() {
        if (modCount != expectedModCount)
            throw new ConcurrentModificationException();
    }
    

    如果modCount不等于expectedModCount,则抛出ConcurrentModificationException异常。

    很显然,此时modCount为2,而expectedModCount为1,因此程序就抛出了ConcurrentModificationException异常。

    到这里,想必大家应该明白为何上述代码会抛出ConcurrentModificationException异常了。关键点就在于:调用list.remove()方法导致modCount和expectedModCount的值不一致。

    在单线程环境下的解决办法

    既然知道原因了,那么如何解决呢?

    其实很简单,细心的朋友可能发现在Itr类中也给出了一个remove()方法:

    public void remove() {
        if (lastRet == -1)
            throw new IllegalStateException();
        checkForComodification();
     
        try {
            AbstractList.this.remove(lastRet);
            if (lastRet < cursor)
                cursor--;
            lastRet = -1;
            expectedModCount = modCount;
        } catch (IndexOutOfBoundsException e) {
            throw new ConcurrentModificationException();
        }
    }
    

    在这个方法中,删除元素实际上调用的就是list.remove()方法,但是它多了一个操作:

    expectedModCount = modCount;
    

    因此,在迭代器中如果要删除元素的话,需要调用Itr类的remove方法。

    将上述代码改为下面这样就不会报错了:

    public class Test {
        public static void main(String[] args)  {
            ArrayList<Integer> list = new ArrayList<Integer>();
            list.add(2);
            Iterator<Integer> iterator = list.iterator();
            while (iterator.hasNext()) {
                Integer integer = iterator.next();
                if (integer == 2)
                    iterator.remove();
            }
        }
    }
    

    在多线程环境下的解决方法

    上面的解决办法在单线程环境下适用,但是在多线程下适用吗?看下面一个例子:

    public class Test {
        static ArrayList<Integer> list = new ArrayList<Integer>();
        public static void main(String[] args)  {
            list.add(1);
            list.add(2);
            list.add(3);
            list.add(4);
            list.add(5);
            Thread thread1 = new Thread() {
                public void run() {
                    Iterator<Integer> iterator = list.iterator();
                    while (iterator.hasNext()) {
                        Integer integer = iterator.next();
                        System.out.println(integer);
                        try {
                            Thread.sleep(100);
                        } catch (InterruptedException e) {
                            e.printStackTrace();
                        }
                    }
                };
            };
            Thread thread2 = new Thread() {
                public void run() {
                    Iterator<Integer> iterator = list.iterator();
                    while (iterator.hasNext()) {
                        Integer integer = iterator.next();
                        if (integer == 2)
                            iterator.remove(); 
                    }
                };
            };
            thread1.start();
            thread2.start();
        }
    }
    

    运行结果:

    1

    Exception in thread "Thread-0" java.util.ConcurrentModificationException
    at java.util.ArrayList$Itr.checkForComodification(Unknown Source)
    at java.util.ArrayList$Itr.next(Unknown Source)
    at Test$1.run(Test.java:15)

    有可能有朋友说ArrayList是非线程安全的容器,换成Vector就没问题了,实际上换成Vector还是会出现这种错误。

    原因在于,虽然Vector的方法采用了synchronized进行了同步,但是由于Vector是继承的AbstarctList,因此通过Iterator来访问容器的话,事实上是不需要获取锁就可以访问。那么显然,由于使用iterator对容器进行访问不需要获取锁,在多线程中就会造成当一个线程删除了元素,由于modCount是AbstarctList的成员变量,因此可能会导致在其他线程中modCount和expectedModCount值不等。

    就比如上面的代码中,很显然iterator是线程私有的,

    初始时,线程1和线程2中的modCount、expectedModCount都为0,

    当线程2通过iterator.remove()删除元素时,会修改modCount值为1,并且会修改线程2中的expectedModCount的值为1,

    而此时线程1中的expectedModCount值为0,虽然modCount不是volatile变量,不保证线程1一定看得到线程2修改后的modCount的值,但是也有可能看得到线程2对modCount的修改,这样就有可能导致线程1中比较expectedModCount和modCount不等,从而抛出异常。

    因此一般有2种解决办法:

    1)在使用iterator迭代的时候使用synchronized或者Lock进行同步;

    2)使用并发容器CopyOnWriteArrayList代替ArrayList和Vector。

    隐藏迭代器

    虽然加锁可以防止迭代器抛出ConcurrentModificationException,但你必须要记住在所有对共享容器进行迭代的地方都需要加锁。实际情况要更加复杂,因为在某些情况下,迭代器会隐藏起来。

    看下面的这段代码:

    public class HiddenIterator {
        private final Set<Integer> set = new HashSet<Integer>();
        
        public synchronized void add(Integer i) {
            set.add(i);
        }
        
        public synchronized void remove(Integer i) {
            set.remove(i);
        }
    
        public void addTenThing() {
            Random r = new Random();
            for (int i=0; i<10; i++)
                add(r.nextInt());
            System.out.println("DEBUG: added ten elements to " + set);
        }
    }
    

    在HiddenIterator中没有显式的迭代操作,但在System.out.println("DEBUG: added ten elements to " + set);这句代码中将执行迭代操作。编译器将字符串的连接操作转换为调用StringBuilder.append(Object),而这个方法又会调用容器的toString方法,标准容器的toString方法将迭代容器,并在元素上调用toString来生成容器内容的格式化表示。

    相关文章

      网友评论

        本文标题:16-迭代器与ConcurrentModificationExc

        本文链接:https://www.haomeiwen.com/subject/wdyvzxtx.html