将GBK文件批量转为UTF-8格式

问题来源：从GitHub上下载了一个小项目，但打开之后，发现部分文件中文乱码。如何解决？

最笨的方法是用记事本打开，然后另存为UTF-8格式。但文件较多就不合适了，需要批量转换。用代码实现单文件转换也比较简单不用解释：

    public static void gbk2Utf8(String fileName) {
        BufferedReader reader = null;
        BufferedWriter writer = null;
        try {
            StringBuffer sb = new StringBuffer();
            reader = new BufferedReader(new InputStreamReader(new FileInputStream(fileName), "GBK"));
            String str;
            while ((str = reader.readLine()) != null) {
                sb.append(str).append("\r\n");
            }

            writer = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(fileName), "UTF-8"));
            writer.write(sb.toString());
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (reader != null) {
                try {
                    reader.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
            if (writer != null) {
                try {
                    writer.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }

如果是很多文件的话，可以通过遍历目录先获取每个文件

 /**
     * 递归获取指定目录下所有指定类型文件
     * 
     * @param strPath
     *            文件夹地址
     * @param suffix
     *            文件名后缀
     * @return
     */
    public static List<File> getFileList(String strPath, String suffix) {
        List<File> filelist = new ArrayList<File>();
        File dir = new File(strPath);
        File[] files = dir.listFiles(); // 该文件目录下文件全部放入数组
        if (files != null) {
            for (int i = 0; i < files.length; i++) {
                String fileName = files[i].getName();
                if (files[i].isDirectory()) { // 如果是文件夹就递归调用
                    getFileList(files[i].getAbsolutePath(), suffix);
                } else if (fileName.endsWith(suffix)) {
                    filelist.add(files[i]);
                }
            }
        }
        return filelist;
    }

剩下的就是写个主函数去调用，就在这时发现一个大坑，下载的项目中有些是GBK编码、有些是UTF8编码。所以要先判断下文件编码格式，再进行转换，否则可能将正常文件转码为乱码。

那么，问题来了，如何判断文件编码格式呢？
网上有很多不是很严谨的方式，最后我选择了一种相对靠谱的方式来判断，但需要引入第三方依赖jchardet：

        <dependency>
            <groupId>net.sourceforge.jchardet</groupId>
            <artifactId>jchardet</artifactId>
            <version>1.0</version>
        </dependency>

然后，写个判断文件编码的方法：

    // 是否找到匹配字符集
    private static boolean isFind = false;
    // 如果完全匹配某个字符集检测算法, 则该属性保存该字符集的名称. 否则(如二进制文件)其值就为默认值 null
    private static String encoding = null;

    /**
     * 获取文件的编码
     * 
     * @param file
     * @return 文件编码，若无，则返回null
     * @throws IOException
     */
    private static String guessFileCharset(File file) throws IOException {
        nsDetector det = new nsDetector();
        det.Init(new nsICharsetDetectionObserver() {
            public void Notify(String charset) {
                isFind = true;
                encoding = charset;
            }
        });

        BufferedInputStream bis = new BufferedInputStream(new FileInputStream(file));

        byte[] buf = new byte[1024];
        int len;
        boolean done = false;
        boolean isAscii = true;

        while ((len = bis.read(buf, 0, buf.length)) != -1) {
            if (isAscii) {
                isAscii = det.isAscii(buf, len);
            } else if (!done) {
                done = det.DoIt(buf, len, false);
            }
        }
        det.DataEnd();

        if (isAscii) {
            encoding = "ASCII";
            isFind = true;
        } else if (!isFind) {
            String prob[] = det.getProbableCharsets();
            if (prob.length > 0) {
                encoding = prob[0]; // 在没有发现情况下，则取第一个可能的编码
            }
        }
        return encoding;
    }

最后是主函数

public static void main(String[] args) {
        List<File> files = getFileList("具体的文件路径", ".java");
        for (File file : files) {
            String charset = null;
            try {
                charset = guessFileCharset(file.getAbsoluteFile());
            } catch (IOException e) {
                System.err.println("获取文件编码发生异常！");
            }
            System.out.println(file.getName() + "[" + charset + "]");
            if ("GB2312".equals(charset)) {
                gbk2Utf8(file.getAbsolutePath());
            }
        }
    }

本来是去GitHub上寻找答案的，结果又遇到一堆问题。不过这是好事，通过不断发现问题并解决问题，可以提高自己洞察问题和解决问题的能力。