icu4j解决获取文件编码问题

记一次项目中遇到的坑。线上系统有解析CSV与txt文本文件的需求，文本文件包含中文，同时文件的字符编码无法统一，自己尝试写了一些获取文件字符编码的工具类，效果不是很理想。在网上查阅了很多资料，觉得icu4j比较符合我的业务，于是将icu4j引入到项目中使用。

• 引入icu4j依赖

        <dependency>
            <groupId>com.ibm.icu</groupId>
            <artifactId>icu4j</artifactId>
            <version>70.1</version>
        </dependency>

• 编写工具类

public class CharsetEncodingUtils {
    public static String getCharset(InputStream in) throws IOException {
        String charset = null;
        BufferedInputStream bis = null;
        try {
            bis = new BufferedInputStream(in);
            CharsetDetector cd = new CharsetDetector();
            cd.setText(bis);
            CharsetMatch cm = cd.detect();
            if (cm != null) {
                charset = cm.getName();
            } else {
                throw new UnsupportedCharsetException("获取文件编码失败");
            }
        } catch (IOException e) {
            e.printStackTrace();
            throw new IOException(e);
        }finally {
            if (null != bis) {
                try {
                    bis.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
            if (null != in) {
                in.close();
            }
        }

        return charset;
    }

    public static void main(String[] args) {
        File file = new File("/Users/xxxxx/Documents/批量添加验证样本模板111/上传文件样例-表格 1.txt");
        InputStream inputStream = null;
        try {
            inputStream = new FileInputStream(file);
            String charset = getCharset(inputStream);
            System.out.println("charset:" + charset);
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            if (null != inputStream) {
                try {
                    inputStream.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }
}

• 测试case
  以下是我做的16个case，使用16种字符编码的文件，通过icu4j来获取文件的字符编码，目前测试来看只要源文件的中文能正常显示，使用icu4j读取到的编码就能正常解析，同时将解析到的内容以UTF-8的编码输出到新的文件，也没问题。

参考stackoverflow，原文中还介绍了很多种方式