lucene入门基础2

【存储域选项】 Field.Store.Yes or NO 【存储域选项】
设置为YES表示会将域中的内容完全存储到文件中，方便进行文本的还原；
NO表示这个域的内容不存储在文件中，但是可以被索引，此时内容无法完全还原；

【索引选项】Field.Index
Index.ANALYZED：进行分词和索引，适用于标题、内容等；
Index.NOT_ANALYZED：进行索引，但是不进行分词，适用于身份证号、姓名、ID等，适用于精确搜索；
Index.ANALYZED_NOT_NORMS：进行分词，但是不存储norm信息，这个norm中包括了创建索引的时间和权值等信息；
Index.NOT_ANALYZED_NOT_NORMS：既不进行分词也不存储norm信息；
Index.NO：不进行索引

ANALYZED 分词； NORM 加权；（是否存储，是否分词，是否加权）

.fnm 保存的是域的信息（eg：filename、content等）；
.fdt .fdx 保存的是STORE为YES的数据；
.frq 词条出现的频率；
.nrm 存储评分信息；
.tii .tis 存储的是索引中的内容信息；
.del 删除的文档并不会被完全删除，而是被存储在回收站中；

搜索的简单实现（TermQuery）
（1）创建IndexReader；
（2）创建IndexSearcher；
（3）创建Term和TermQuery；
（4）根据TermQuery获取TopDocs；
（5）根据TopDocs获取ScoreDoc；
（6）根据ScoreDoc获取对应文档；
其他搜索（Query）：
（1）TermRangeQuery
（2）NumericRange
（3）PrefixQuery 前缀搜索
（4）WildcardQuery 通配符查询
（5）BooleanQuery 组合查询（可以连接过个条件）
（6）PhraseQuery 短语索引
（7）FuzzyQuery 模糊查询

分词的过程
Reader——（tokenier）——MMSeg——（filter）——Filter

分词工具用过很多，比如jieba，mmseg，hanlp，ICTCLAS等等，分词算法也用过了很多从正向匹配，反向匹配，CRF，HMM，再到现在的BiLSTM+CRF。
分词工具只是一个工具，强调分词效果的一定在做搜索，做数据分析反而对分词好坏优劣不太关注。现在DL模型的wordembeding可能不关注分词的p、r和f1，但是做搜索可能比较关注。CRF需要有标注、有预料。