Java并发编程 - 阻塞队列(BlockingQueue)

1. 概念和特性

很多线程问题可以使用一个或多个队列优雅而安全地解决。
比如说，生产者线程向队列插入元素，消费者线程负责获取元素。
利用这种方式，我们可以安全地从一个线程向另一个线程传递参数。

阻塞队列(BlockingQueue)是协调多个线程之间合作的有用工具。
当试图向阻塞队列添加元素而队列已满，或者从队列移出元素而队列为空的时候，将导致线程阻塞。

阻塞队列的应用场景:
工作线程可以周期性地将中间结果存储在阻塞队列中。
其它工作线程移除中间结果，并进一步进行修改。
这样，队列可以自动地平衡负载。

2. BlockingQueue的方法

offer和poll方法还可以有超时时间的参数

// 在100毫秒的时间内向队尾插入一个元素;超时返回false
boolean success = q.offer(x, 100, TimeUnit.MILLISECONDS);
// 在100毫秒的时间内移除队头元素;超时返回null
Object head = q.poll(100, TimeUnit.MILLISECONDS);

3. Java并发包的阻塞队列实现

java.util.concurrent包提供了阻塞队列的几种实现。

4. 程序实战

SearchFileByBlockingQueueDemo.java

package zeus.playground.concurrent.queue;

import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.util.Scanner;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.BlockingQueue;
import java.util.stream.Collectors;
import java.util.stream.Stream;

public class SearchFileByBlockingQueueDemo {
    private static final int FILE_QUEUE_SIZE = 10;
    private static final int SEARCH_THREADS = 100;
    private static final Path DUMMY = Path.of("");
    private static BlockingQueue<Path> queue = new ArrayBlockingQueue<>(FILE_QUEUE_SIZE);

    public static void main(String[] args) {
        try (var in = new Scanner(System.in)) {
            System.out.print("Enter base directory (e.g. /opt/jdk-9-src): ");
            String directory = in.nextLine();
            System.out.print("Enter keyword (e.g. volatile): ");
            String keyword = in.nextLine();

            Runnable enumerator = () -> {
                try {
                    enumerate(Path.of(directory));
                    queue.put(DUMMY);
                } catch (IOException e) {
                    e.printStackTrace();
                } catch (InterruptedException e) {
                }
            };

            // 工作线程负责向队列添加元素
            new Thread(enumerator).start();

            for (int i = 1; i <= SEARCH_THREADS; i++) {
                Runnable searcher = () -> {
                    try {
                        var done = false;
                        while (!done) {
                            Path file = queue.take();
                            if (file == DUMMY) {
                                queue.put(file);
                                done = true;
                            } else {
                                search(file, keyword);
                            }
                        }
                    } catch (IOException e) {
                        e.printStackTrace();
                    } catch (InterruptedException e) {
                    }
                };
                // 工作线程负责从队列移除元素
                new Thread(searcher).start();
            }
        }
    }

    /**
     * Recursively enumerates all files in a given directory and its subdirectories.
     * @param directory the directory in which to start
     */
    public static void enumerate(Path directory) throws IOException, InterruptedException {
        try (Stream<Path> children = Files.list(directory)) {
            for (Path child : children.collect(Collectors.toList())) {
                if (Files.isDirectory(child)) {
                    enumerate(child);
                } else {
                    queue.put(child);
                }
            }
        }
    }

    /**
     * Searches a file for a given keyword and prints all matching lines.
     *
     * @param file    the file to search
     * @param keyword the keyword to search for
     */
    public static void search(Path file, String keyword) throws IOException {
        try (var in = new Scanner(file, StandardCharsets.UTF_8)) {
            int lineNumber = 0;
            while (in.hasNextLine()) {
                lineNumber++;
                String line = in.nextLine();
                if (line.contains(keyword)) {
                    System.out.printf("%s:%d:%s%n", file, lineNumber, line);
                }
            }
        }
    }
}

上面程序通过阻塞队列的方式搜索指定文件夹下的所有文件是否有某个关键字。
程序通过一批工作线程来完成:
一个生产者工作线程通过调用递归方法来遍历文件夹，并把文件路劲塞入阻塞队列。
一批消费者工作线程通过从阻塞队列中队头挨个取文件路径，再根据文件路径搜索指定文件是否含有某个关键字。