Java ansj分词 数字与英文量词分割问题

引言

最近项目中可能有个需求需要用到分词，所以研究了解了一下Java的ansj，然后发现了个数字与英文量词一直被分隔出来的问题

场景复现

根据官方文档，通过配置文件的isQuantifierRecognition字段可以开启数字和量词合并

public class MyStaticValue {
  // 是否数字和量词合并
  public static Boolean isQuantifierRecognition = true;

通过源码可知，该变量已默认为true

实际测试效果

        String text = "这是一条100厘米的绳子";
        System.out.println(ToAnalysis.parse(text));
        String text2 = "这是一条100cm的绳子";
        System.out.println(ToAnalysis.parse(text2));

输出结果

这/r,是/v,一条/mq,100厘米/mq,的/u,绳子/n
这/r,是/v,一条/mq,100/m,cm/en,的/u,绳子/n

可以见到，开启数字和量词合并后，对于数字与中文量词组合的可以成功分割，但对于数字与英文量词组合的无法正确切分

问题排查

通过查阅文档和源码可知，量词词性使用q_mq，于是一开始思路考虑手动添加自定义词

        DicLibrary.insert(DicLibrary.DEFAULT, "cm", "q_mq", DicLibrary.DEFAULT_FREQ);

但是经实验并没有生效，然后开始跟踪源码，发现isQuantifierRecognition变量开启后，主要是通过一个结果处理器NumRecognition对结果进行数字量词合并，

ToAnalysis
于是一路跟踪进去，查看这个Recognition的源码
NumRecognition
发现主要逻辑是根据这个isQua来决定是否将两个词合并，然后我们来看一下刚那个cm量词的isQua,
numAttr
可以发现即使我们将cm添加为自定义量词，这个变量也仍为false，于是再跟踪这个变量的赋值过程，
TermNatures
AnsjItem
发现只有initValue的时候才会将内置的量词NumNatureAttr的isQua字段置为true，后续添加的不会再走这段逻辑，所以也解释了为什么不生效的问题

解决方法

• 修改源码的core.dic生成文件，将要添加的量词直接生成进去
• 自己手写一个Recognition对结果进行处理

因为项目的需求不光是要将100cm合并，对于如DN25也需合并，所以我就直接采用第二种方法，将数字英文直接合并在一起了
这里也简单贴一下自己写的Recognition代码

 public class SpecificationWordRecognition implements Recognition {
        private static final Nature SPECIFICATION_NATURE = new Nature("specification");

        @Override
        public void recognition(Result result) {
            List<Term> terms = result.getTerms();
            for (Term term : terms) {
                if (term.getName() == null) {
                    continue;
                }
                if ("m".equals(term.getNatureStr()) || "en".equals(term.getNatureStr())) {
                    Term to = term.to();
                    while ("m".equals(to.getNatureStr()) || "en".equals(to.getNatureStr())) {
                        term.merage(to);
                        to.setName(null);
                        term.setNature(SPECIFICATION_NATURE);
                        to = to.to();
                    }
                }
            }

            for (Iterator<Term> iterator = terms.iterator(); iterator.hasNext();) {
                Term term = iterator.next();
                if (term.getName() == null) {
                    iterator.remove();
                }
            }
        }
    }