ES中文分词器之精确短语匹配（自定义分词器）

楼主在上篇文章中，提出了将词和字分开，用不同的分词器分别构建索引，来解决match_phrase在中文中的短语或者句子匹配问题。详细的内容请看上一篇文章：
ES中文分词器之精确短语匹配（解决了match_phrase匹配不全的问题）

为什么要自己写分词器？

楼主想要一种分词器，分词器完全按照词典分词，只要是词典有的词语，分词器就一定要分出来。测试了两个分词器比如说IK，MMseg，都不能按照楼主的要求分词。

MMSeg有考虑到词频，即使使用mmseg_max_word，也不能完全按照词典分词。

IK理论上是按照词典分词的，但是经测试，还是发现了些问题。比如说“一群穆斯林聚在一起”，单独用这句话测试，“穆斯林”可以分出，而这句话放入一篇文章中，却无法分出“穆斯林”。

楼主是用ik和standard对比命中量发现不一致，导出不一致数据后，才发现的这个问题（ik和mmseg都修改了源码，过滤掉中文之间的特殊符号，因此不存在词语中间有特殊符号standard可以分出，ik分不出而导致的不一致情况）。

没办法了，自己写一个吧。

ES自定义分词器

由于ES是采用juice依赖注入的方式，所以要实现一个工厂类和Provider类。

public class TestAnalyzerProvider extends AbstractIndexAnalyzerProvider<InfosecAnalyzer> {

public TestAnalyzerProvider(IndexSettings indexSettings, Environment env, String name, Settings settings) {
    super(indexSettings, name, settings);
}

public static AnalyzerProvider<? extends Analyzer> getMaxWord(IndexSettings indexSettings, Environment environment, String s, Settings settings) {
    return  new TestAnalyzerProvider(indexSettings,environment,s,settings);
}

@Override public InfosecAnalyzer get() {
    return new InfosecAnalyzer();
 }
}

public class TestTokenizerFactory extends AbstractTokenizerFactory {

 public TestTokenizerFactory(IndexSettings indexSettings, Environment env, String name, Settings settings) {
     super(indexSettings, name, settings);
 }

public static TokenizerFactory getMaxWord(IndexSettings indexSettings, Environment environment, String name, Settings settings) {
    return new TestTokenizerFactory(indexSettings,environment,name,settings);
}

@Override
public Tokenizer create() {
    return new TestTokenizor();
 }
}

接下来写自己的插件配置类：

public class AnalysisTestPlugin extends Plugin implements AnalysisPlugin {

public static String PLUGIN_NAME = "analysis-test;

@Override
public Map<String, AnalysisModule.AnalysisProvider<TokenizerFactory>> getTokenizers() {
    Map<String, AnalysisModule.AnalysisProvider<TokenizerFactory>> extra = new HashMap<>();

    extra.put("test_max_word", TestTokenizerFactory::getMaxWord);

    return extra;
}

@Override
public Map<String, AnalysisModule.AnalysisProvider<AnalyzerProvider<? extends Analyzer>>> getAnalyzers() {
    Map<String, AnalysisModule.AnalysisProvider<AnalyzerProvider<? extends Analyzer>>> extra = new HashMap<>();

    extra.put("test_max_word", TestAnalyzerProvider::getMaxWord);

    return extra;
}
}

因为我们只需要按照词典分词，所以这边只有一种最大分词模式，test_max_word。接下来就是Analyzer 和Tokenizor。

public class TestAnalyzer extends Analyzer {

public TestAnalyzer(){
    super();
}
@Override
protected TokenStreamComponents createComponents(String fieldName) {
    Tokenizer _TestTokenizer = new TestTokenizor();
    return new TokenStreamComponents(_TestTokenizer);
}
}


public class TestTokenizor extends Tokenizer {
//词元文本属性
private final CharTermAttribute termAtt;
//词元位移属性
private final OffsetAttribute offsetAtt;
//词元分类属性（该属性分类参考org.wltea.analyzer.core.Lexeme中的分类常量）
private final TypeAttribute typeAtt;
//记录最后一个词元的结束位置
private int endPosition;

private TestSegmenter test =null;

public InfosecTokenizor(){
    super();
    offsetAtt = addAttribute(OffsetAttribute.class);
    termAtt = addAttribute(CharTermAttribute.class);
    typeAtt = addAttribute(TypeAttribute.class);

    test = new TestSegmenter(input);
}

@Override
public boolean incrementToken() throws IOException {
    clearAttributes();
    Word word = test.getNext();
    if(word != null) {
        termAtt.copyBuffer(word.getSen(), word.getWordOffset(), word.getLength());
        offsetAtt.setOffset(word.getStartOffset(), word.getEndOffset());
        typeAtt.setType(word.getType());
        return true;
    } else {
        end();
        return false;
    }
}

public void reset() throws IOException {
    super.reset();
    //setReader 自动被调用, input 自动被设置。
    test.reset(input);
}
}

自定义分词器主要操作的是incrementToken方法，每次从TestSegmenter中取出一个词，如果改词存在，设置改词的token属性，返回true，即还有下一个token。如果改词不存在，返回false，标志着没有数据了，结束分词。

自定义分词的详细内容

由于代码太多了，这里就不一一贴出，只介绍下算法思想。

匹配类型

1）不匹配
2）前缀
3）匹配
4）匹配且是前缀

算法思想

先将数据分类组装成句子，然后经过句子处理器将句子分为多个word，存入queue中，再由increateToken()方法依次取出。

组装句子

依次扫描，将同类的数据组装成句子。比如说“你好哈233节日，快乐！233dad”，扫描第一个字符发现是中文，则继续向下扫描，一直扫描到‘2’，发现‘2’不是中文，则将“你好哈”组成句子交给句子处理器处理，将处理结果放入queue中。继续扫描，遍历到‘节’，发现‘节’不是数组，则将“233”组成一个word，放入queue。继续扫描，将“节”，“日”依次放入句子中，扫描到“，”，因为要和standard 对比效果，所以我在代码中过滤了中文间所有的符号，忽略“，”继续扫描，依次将“快”“乐”存入句子。后面类似处理即可。

句子分词

依次扫描句子，如果相邻的数据可以组装成一个词，则将词放入queue中，继续遍历下一个。例如“节日快乐”，分词时首先扫描“节”，在词典中查询“节”，发现“节”是一个前缀，则继续扫描“日”，发现“节日”是一个词匹配，且是一个前缀，则将“节日”存入queue中，继续扫描“节日快”，发现“节日快”是一个前缀，继续扫描“节日快乐”，发现“节日快乐”仅是一个词匹配，则将“节日快乐”存入queue中，结束从“节”开始的扫描。接下来按照上述方法从“日”字开始扫描。依次处理完整个句子。

词典

词典采用树的结构，比如说“节日愉快”，“节日快乐”和“万事如意”这三个词，在词典中如下表示：

词典结构

查找时，记录上一次前缀匹配的DicSegment，在前缀的DicSegment中，直接查找当前扫描字符，可以加快匹配速度。

比如说已经匹配到了”节日快“这个前缀，在匹配”节日快乐“时，直接在”快“对应的DicSegment中查找，这样就不用再次匹配”节日“两个字符。

问题

测试的过程中同样的发现了一些问题，比如说：

原文：长白山脉
test分词：长白 1 长白山 2 长白山脉 3 白山4 山脉5
查找词语：长白山
test分词：长白 1 长白山 2 白山 3

通过分词可以看出在“长白山脉”中查询不到“长白山”的。问题在于match_phrase的限制，长白山的分词顺序在原文构建索引时的位置不一样，中间多出了一个“长白山脉”。

解决方案：

不能匹配的原因是，查找词语在原文中和后面的字组成了词语。用最小粒度分词即可解决。也就是说只用长度为2和3的词语。不存在长度为4的词语，所以一个词长度为3时，在原文中不会和后面的数据组成词。当词的长度为2时，和后面的一个字匹配，可以组成一个长度为3的词，按照我们分词的规则，是先分出两个字的词，再分出三个字的词，所以，两个字的词是可以匹配的到的。