lucene各种文章介绍都有,这篇文章介绍下很多文章不曾说的为什么快,大多文章就是说倒排索引,然后就没然后了,lucene反向索引存储主要有两个文件(所谓反向信息是指词(Term) –> 文档(Document)),词典文件和词典索引文件,版本不同,后缀名称也不同,因为一个索引会包含多个字段,文件实现是按照字段排列实现,这也是为什么段一旦刷到磁盘,不可更改的原因。
词典索引文件是论文fst实现,论文链接:http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.24.3698[http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.24.3698],精确查询时,索引文件锁定大概位置,在搜索词典文件;模糊查询时,索引文件fst会转换 [NFA(不确定的有穷自动机) -> DFA(确定的有穷自动机) 的转换],这是索引文件存放在内存的原因,这也是一切查询的基石。
lucene实现的是一个基本全文检索引起应该有的功能,用到非常多的算法。
比如索引文件需要存放到内存,就会用到文本压缩、数值压缩,各种编码压缩。
取存储结果用到了数组链表的交集、并集、差集、以及topN二叉堆等。
为了快速定位文档号使用了跳表,获取相似性结果用到了编辑距离。
也用到了到分词器、状态机、空间向量模型等.
但是用到的并发并不是很多,学习并发的同志们建议学习netty。
网友评论