数据搜索技术
- 传统数据库搜索技术：
select * from TABLE_NAME where xx like "%PHP是世界上最好的语言%"
该查询对于数据库来说，需要根据查询字段逐条进行检索。然后返回该条结果数据，对于大量的数据来说搜索效率很低，而且只能进行完整的匹配。无法模糊搜索。
- 倒排索引数据搜索技术：
网页搜索 PHP是世界上最好的语言
PHP是世界上做好的语言
当前搜索中出现了传统数据库搜索不能出现的php还是世界上..等词。
如果有五条数据,那么它们都是怎么检索的呢?
| DocId | 内容 |
|---|---|
| 1 | PHP是世界上最好的语言是什么梗? |
| 2 | PHP是世界上最好的语言这个梗是怎么来的? |
| 3 | 编程的程序员们,你们有语言崇拜吗... |
| 4 | php语言是不是世界上最好的语言 |
| 5 | 程序员鄙视链PHP是世界上最好的语言 |
如果是传统数据库检索,只会出现 1 , 2 , 4, 5 分词。
| DocId | 内容 |
|---|---|
| 1 | PHP,是,世界上,最好,的,语言,是,什么,梗? |
| 2 | PHP,是,世界,上,最好,的,语言,这个,梗,是,怎么,来,的? |
| 3 | 编程,的,程序员们,你们,有,语言,崇拜,吗... |
| 4 | php,语言,是不是,世界,上,最好,的,语言 |
| 5 | 程序员,鄙视链,PHP,是,世界,上,最好,的,语言 |
按照以上分词的结果,进行查询.依然是正排索引。倒排索引是什么样子的呢?
| 词 | DocId |
|---|---|
| PHP | 1,2,3,4,5 |
| 世界 | 1,2,3,4,5 |
| 语言 | 1,2,3,4,5 |
| 程序员 | 5 |
| 编程 | 3 |
| ... | ... |
那么基于倒排索引查询的时候就很清晰了,对于分伺后的结果再查询文档。
搜索引擎是如何实现的呢？
基于以上了解的，实现搜索引擎的整体过程是什么流程?
倒排索引.png
Lucene是什么?
百度百科：Lucene是纯java开发的一个开源的全文检索引擎工具包。它本身不是一个完全的全文检索引擎,而只是一个完全的全文检索引擎架构。它提供了完全的查询引擎与索引引擎。目前由Apache基金会进行运营。再其之上建立的成熟的全文检索引擎有solr与ElasticSearch。
Lucene历史
Lucene最早有Hadoop之父Doug Cutting创建，Doug Cutting是资深全文检索专家，早期发布Lucene代码到个人博客上，最终贡献给Apache基金会。
Lucene基本概念
- Index(索引)：索引；
- Segement(段)：创建索引时会生成Segment；之后再定时合并到大的Segment中；
- Document(文档)：由很多的Field组成；
- Field(字段)：有很多的Term组成；
- Term(词项)：分词后的最小单元为Term；
- Token(词条)：类似于每个Term的属性，记录类型，偏移量等；
完。
网友评论