JAVAEE——apache Lucene

作者: So_ProbuING | 来源:发表于2018-09-10 14:48 被阅读0次

描述

我们生活中的数据总体分为两种：结构化数据和非结构化数据
结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等
非结构化数据：指不定长或无固定格式的数据，如邮件 word文档等磁盘上的文件

非结构化数据查询方法

顺序扫描法(Serial Scanning)
所谓顺序扫描，比如要找内容包含某一个字符串的文件，就是一个文档一个文档的看，对于每一个文档，从头看到尾，如果此文档包含此字符串，则此文档为我们要找的文件，接着看下一个文件，直到扫描完所有的文件。如利用windows的搜索也可以搜索文件内容，只是相当的慢。
全文检索(Full-text Search)
将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的然后重新组织的信息，我们称之索引。

实现全文检索的方式

可以使用Lucene实现全文检索。Lucene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供简单易用的工具包，以方便的在目标系统中实现全文检索的功能

Lucene实现全文检索的流程

索引和搜索流程图

索引和搜索流程

图中绿色表示索引过程，对要搜索的原始内容进行索引构建一个索引表。索引过程包括：确定原始内容即要搜索的内容---》采集文档---》创建文档 ---》分析文档 ---》索引文档
红色表示搜索过程，从索引库中搜索内容，搜索过程包括：用户通过搜索界面---》创建查询---》执行搜索从索引库搜索---》渲染搜索结果

创建索引

获得原始文档

lucene不提供信息采集的类库，需要用户自己实现一个爬虫程序。

创建文档对象

获取原始内容是为了简历索引，在索引前需要将原始内容创建文档，文档中包括一个一个的域，域中存储内容
每个Document可以有多个Field,不同的Document可以有不同的Field,同一个Document可以有相同的Field
每个Document都有一个唯一的编号，就是文档id，id从0开始，并且自增长

分析文档

将原始内容创建为包含域(Field)的文档(document)，需要再对域中的内容进行分析，分析的过程是经过对原始文档提取单次、将字母转为小写、去除标点符号、去除停用词等过程生成最终的语汇单元。
一个语汇单元称为一个Term，不同的域中拆出来的相同的单词是不同的Term，term中包含两部分一部分是文档的域名，另一部分是单词的内容
eg:文件名中包含apache和文件内容中包含的apache是不同的term

确定两个term是不是同一个term看两个地方，一个是域名是否相同第二个是内容是否相同

创建索引

对所有文档分析得出的语汇单元进行索引，索引的目的是为了搜索，最终要实现只搜索被索引的语汇单元从而找到Document（文档）。

找到的Document按照索引出现的次数从高到低排序

注意：创建索引是对语汇单元索引，通过词语找文档，这种索引的结构叫倒排索引结构。
传统方法是根据文件找到该文件的内容，在文件内容中匹配搜索关键字，这种方法是顺序扫描方法，数据量大、搜索慢。
倒排索引结构是根据内容（词语）找文档，如下图：

图片.png

查询索引

查询索引也是搜索的过程。搜索就是用户输入关键字，从索引（index）中进行搜索的过程。根据关键字搜索索引，根据索引找到对应的文档，从而找到要搜索的内容（这里指磁盘上的文件）。

执行查询

搜索索引过程：
根据查询语法在倒排索引词典表中分别找出对应搜索词的索引，从而找到索引所链接的文档链表。
比如搜索语法为“fileName:lucene”表示搜索出fileName域中包含Lucene的文档。
搜索过程就是在索引上查找域为fileName，并且关键字为Lucene的term，并根据term找到文档id列表。

搜索索引

渲染结果

查询结果

使用Lucene开发

下载开发环境

Lucene是开发全文检索功能的工具包，从官方网站下载Lucene4.10.3，并解压。

官方网站：http://lucene.apache.org/

版本：lucene4.10.3

Jdk要求：1.7以上

jar包

图片.png

Lucene包：
lucene-core-4.10.3.jar
lucene-analyzers-common-4.10.3.jar
lucene-queryparser-4.10.3.jar

其它：
commons-io-2.4.jar
junit-4.9.jar

创建索引库

使用indexwriter对象创建索引

创建索引库步骤

1.创建indexWriter对象
1.1 指定索引库的存放位置Directory对象
1.2 指定一个分析器，对文档内容进行分析
2.创建Document对象
3.创建Field对象，将Field添加到Document对象中
4.使用indexwriter对象将document对象写入索引库，此过程进行索引创建。并将索引和Document对象写入索引库
5.关闭IndexWriter对象

Field域的属性

是否分析：是否对域的内容进行分词处理。前提是我们要对域的内容进行查询。
是否索引：将Field分析后的词或整个Field值进行索引，只有索引方可搜索到。
比如：商品名称、商品简介分析后进行索引，订单号、身份证号不用分析但也要索引，这些将来都要作为查询条件。
是否存储：将Field值存储在文档中，存储在文档中的Field才可以从Document中获取
比如：商品名称、订单号，凡是将来要从Document中获取的Field都要存储。

Field类	数据类型	Analyzed是否分析	Indexed是否索引	Stored是否存储	说明
StringField(FieldName, FieldValue,Store.YES))	字符串	N	Y	Y或N	这个Field用来构建一个字符串Field，但是不会进行分析，会将整个串存储在索引中，比如(订单号,姓名等)是否存储在文档中用Store.YES或Store.NO决定
LongField(FieldName, FieldValue,Store.YES)	Long型	Y	Y	Y或N	这个Field用来构建一个Long数字型Field，进行分析和索引，比如(价格)是否存储在文档中用Store.YES或Store.NO决定
StoredField(FieldName, FieldValue)	重载方法，支持多种类型	N	N	Y	这个Field用来构建不同类型Field不分析，不索引，但要Field存储在文档中
TextField(FieldName, FieldValue, Store.NO)或TextField(FieldName, reader)	字符串或流	Y	Y	Y或N	如果是一个Reader, lucene猜测内容比较多,会采用Unstored的策略.

  @Test
    public void createIndex() throws IOException {
        //创建分析器
        StandardAnalyzer analyzer = new StandardAnalyzer();
        //创建IndexWriterConfig对象
        IndexWriterConfig config = new IndexWriterConfig(Version.LATEST, analyzer);
        //创建Directory对象
        FSDirectory directory = FSDirectory.open(new File("/Users/wxblack-mac/temp/index"));
        //创建IndexWriter对象
        IndexWriter indexWriter = new IndexWriter(directory, config);
        // 遍历文件
        File file = new File("/Users/wxblack-mac/temp/searchsource");
        File[] files = file.listFiles();
        for (File file1 : files) {
            //创建Document对象
            Document document = new Document();
            //文件名
            String fileName = file1.getName();
            Field fileNameField = new TextField("fileNameField", fileName, Field.Store.YES);
            //文件大小
            long fileSize = FileUtils.sizeOf(file1);
            LongField fileSizeField = new LongField("fileSizeField", fileSize, Field.Store.YES);
            //文件路径
            String filePath = file1.getPath();
            TextField filePathField = new TextField("filePathField", filePath, Field.Store.YES);
            //文件内容
            String fileContent = FileUtils.readFileToString(file1);
            TextField fileContentField = new TextField("fileContentField", fileContent, Field.Store.YES);
            document.add(fileNameField);
            document.add(fileSizeField);
            document.add(filePathField);
            document.add(fileContentField);
            //将document对象写入索引库
            indexWriter.addDocument(document);
        }
        //释放资源
        indexWriter.close();
    }

LUCK 工具查看索引

Luck工具

查询索引

实现步骤

第一步：创建一个Directory对象，也就是索引库存放的位置。
第二步：创建一个indexReader对象，需要指定Directory对象。
第三步：创建一个indexsearcher对象，需要指定IndexReader对象
第四步：创建一个TermQuery对象，指定查询的域和查询的关键词。
第五步：执行查询。
第六步：返回查询结果。遍历查询结果并输出。
第七步：关闭IndexReader对象

IndexSearcher搜索方法

方法	说明
indexSearcher.search(query, n)	根据Query搜索，返回评分最高的n条记录
indexSearcher.search(query, filter, n)	根据Query搜索，添加过滤策略，返回评分最高的n条记录
indexSearcher.search(query, n, sort)	根据Query搜索，添加排序策略，返回评分最高的n条记录
indexSearcher.search(booleanQuery, filter, n, sort)	根据Query搜索，添加过滤策略，添加排序策略，返回评分最高的n条记录

 @Test
    public void testSearch() throws IOException {
//        第一步：创建一个Directory对象，也就是索引库存放的位置。
        FSDirectory directory = FSDirectory.open(new File("/Users/wxblack-mac/temp/index"));
//        第二步：创建一个indexReader对象，需要指定Directory对象。
        IndexReader indexReader = DirectoryReader.open(directory);
//        第三步：创建一个indexsearcher对象，需要指定IndexReader对象
        IndexSearcher searcher = new IndexSearcher(indexReader);
//        第四步：创建一个TermQuery对象，指定查询的域和查询的关键词。
        TermQuery termQuery = new TermQuery(new Term("fileNameField", "apache"));
//        第五步：执行查询。
        TopDocs topDocs = searcher.search(termQuery, 2);
//        第六步：返回查询结果。遍历查询结果并输出。
        ScoreDoc[] scoreDocs = topDocs.scoreDocs;
        for (ScoreDoc scoreDoc : scoreDocs) {
            //获得文档id
            int doc = scoreDoc.doc;
            //根据id查询document
            Document document = searcher.doc(doc);
            String nameField = document.get("fileNameField");
            System.out.println(nameField);
            String fileSizeField = document.get("fileSizeField");
            System.out.println(fileSizeField);
            String filePathField = document.get("filePathField");
            System.out.println(filePathField);
            String fileContentField = document.get("fileContentField");
            System.out.println(fileContentField);
            System.out.println("----********-------------");
        }
//        第七步：关闭IndexReader对象
        indexReader.close();
    }

TopDocs

Lucene搜索结果可通过TopDoc遍历，TopDoc类提供了少量的属性

totalHits 匹配搜索条件的总记录数
scoreDocs 顶部匹配记录
注意：
Search方法需要指定匹配记录数量n：indexSearcher.search(query, n)
TopDocs.totalHits：是匹配索引库中所有记录的数量
TopDocs.scoreDocs：匹配相关度高的前边记录数组，scoreDocs的长度小于等于search方法指定的参数n

分析器功能

分析器Analyzer的执行过程

语汇单元生成过程

//查看标准分析器的分词效果
    public void testTokenStream() throws Exception {
        //创建一个标准分析器对象
        Analyzer analyzer = new StandardAnalyzer();
        //获得tokenStream对象
        //第一个参数：域名，可以随便给一个
        //第二个参数：要分析的文本内容
        TokenStream tokenStream = analyzer.tokenStream("test", "The Spring Framework provides a comprehensive programming and configuration model.");
        //添加一个引用，可以获得每个关键词
        CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
        //添加一个偏移量的引用，记录了关键词的开始位置以及结束位置
        OffsetAttribute offsetAttribute = tokenStream.addAttribute(OffsetAttribute.class);
        //将指针调整到列表的头部
        tokenStream.reset();
        //遍历关键词列表，通过incrementToken方法判断列表是否结束
        while(tokenStream.incrementToken()) {
            //关键词的起始位置
            System.out.println("start->" + offsetAttribute.startOffset());
            //取关键词
            System.out.println(charTermAttribute);
            //结束位置
            System.out.println("end->" + offsetAttribute.endOffset());
        }
        tokenStream.close();
    }

支持中文分词

Lucene自带中文分词器

StandardAnalyzer：

单字分词：就是按照中文一个字一个字地进行分词。如：“我爱中国”，效果：“我”、“爱”、“中”、“国”。

CJKAnalyzer

二分法分词：按两个字进行切分。如：“我是中国人”，效果：“我是”、“是中”、“中国”“国人”。

SmartChineseAnalyzer

对中文支持较好，但扩展性差，扩展词库，禁用词库和同义词库等不好处理

第三方中文分析器

 IK-analyzer：最新版在https://code.google.com/p/ik-analyzer/上，支持Lucene 4.10从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。在2012版本中，IK实现了简单的分词歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化。但是也就是2012年12月后没有在更新。

索引库维护

删除

  @Test
    public void deleteAllIndex() throws IOException {
        IndexWriter indexWriter = getIndexWriter();
        //删除全部
        indexWriter.deleteAll();
        indexWriter.close();
    }

    @Test
    public void deleteQuery() throws IOException {
        IndexWriter indexWriter = getIndexWriter();
        //创建查询条件
        Query query = new TermQuery(new Term("fileContentField", "apache"));
        //删除条件
        indexWriter.deleteDocuments(query);
        indexWriter.close();
    }

修改

修改的原理：先删除后添加

   @Test
    public void updateIndex() throws IOException {
        IndexWriter indexWriter = getIndexWriter();
        Document document = new Document();
        document.add(new TextField("filename", "要更新的文档", Field.Store.YES));
        document.add(new TextField("fileContent", "要更新的内容", Field.Store.YES));
        indexWriter.updateDocument(new Term("fileNameField", "create"), document);
        indexWriter.close();

    }

索引库的查询

对要搜索的信息创建Query查询对象，Lucene会根据Query查询对象生成最终的查询语法，类似关系数据库Sql语法一样Lucene也有自己的查询语法，比如：“name:lucene”表示查询Field的name为“lucene”的文档信息。

使用Query的子类查询

MatchAllDocsQuery

使用MatchAllDocsQuery查询索引目录中的所有文档

@Test
    public void testMatchAllDocsQuery() throws Exception {
        IndexSearcher indexSearcher = getIndexSearcher();
        //创建查询条件
        Query query = new MatchAllDocsQuery();
        //执行查询
        printResult(query, indexSearcher);
    }

TermQuery 精确查询

//使用Termquery查询
    @Test
    public void testTermQuery() throws Exception {
        IndexSearcher indexSearcher = getIndexSearcher();
        //创建查询对象
        Query query = new TermQuery(new Term("content", "lucene"));
        //执行查询
        TopDocs topDocs = indexSearcher.search(query, 10);
        //共查询到的document个数
        System.out.println("查询结果总数量：" + topDocs.totalHits);
        //遍历查询结果
        for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
            Document document = indexSearcher.doc(scoreDoc.doc);
            System.out.println(document.get("filename"));
            //System.out.println(document.get("content"));
            System.out.println(document.get("path"));
            System.out.println(document.get("size"));
        }
        //关闭indexreader
        indexSearcher.getIndexReader().close();
    }

NumericRangeQuery 根据数值范围查询

//数值范围查询
    @Test
    public void testNumericRangeQuery() throws Exception {
        IndexSearcher indexSearcher = getIndexSearcher();
        //创建查询
        //参数：
        //1.域名
        //2.最小值
        //3.最大值
        //4.是否包含最小值
        //5.是否包含最大值
        Query query = NumericRangeQuery.newLongRange("size", 1l, 1000l, true, true);
        //执行查询
        printResult(query, indexSearcher);
    }

BooleanQuery 可以组合查询条件

//组合条件查询
    @Test
    public void testBooleanQuery() throws Exception {
        IndexSearcher indexSearcher = getIndexSearcher();
        //创建一个布尔查询对象
        BooleanQuery query = new BooleanQuery();
        //创建第一个查询条件
        Query query1 = new TermQuery(new Term("filename", "apache"));
        Query query2 = new TermQuery(new Term("content", "apache"));
        //组合查询条件
        query.add(query1, Occur.MUST);
        query.add(query2, Occur.MUST);
        //执行查询
        printResult(query, indexSearcher);
    }

条件解释：

Occur.MUST：必须满足此条件，相当于and
Occur.SHOULD：应该满足，但是不满足也可以，相当于or
Occur.MUST_NOT：必须不满足。相当于not

使用解析查询

通过QueryParser也可以创建Query，QueryParser提供一个Parse方法，此方法可以直接根据查询语法来查询。Query对象执行的查询语法可通过System.out.println(query);查询。
需要使用到分析器。建议创建索引时使用的分析器和查询索引时使用的分析器要一致。

查询语法

1、基础的查询语法，关键词查询：
域名+“：”+搜索的关键字
例如：content:java
范围查询
域名+“:”+[最小值 TO 最大值]
例如：size:[1 TO 1000]
范围查询在lucene中支持数值类型，不支持字符串类型。在solr中支持字符串类型。
组合条件查询
1）+条件1 +条件2：两个条件之间是并且的关系and
例如：+filename:apache +content:apache
+条件1 条件2：必须满足第一个条件，应该满足第二个条件
例如：+filename:apache content:apache
条件1 条件2：两个条件满足其一即可。
例如：filename:apache content:apache
4）-条件1 条件2：必须不满足条件1，要满足条件2
例如：-filename:apache content:apache

Occur.MUST 查询条件必须满足，相当于and	+（加号）
Occur.SHOULD 查询条件可选，相当于or	空（不用符号）
Occur.MUST_NOT 查询条件不能满足，相当于not非	-（减号）

@Test
    public void testQueryParser() throws Exception {
        IndexSearcher indexSearcher = getIndexSearcher();
        //创建queryparser对象
        //第一个参数默认搜索的域
        //第二个参数就是分析器对象
        QueryParser queryParser = new QueryParser("content", new IKAnalyzer());
        Query query = queryParser.parse("Lucene是java开发的");
        //执行查询
        printResult(query, indexSearcher);
    }

JAVAEE——apache Lucene

描述

非结构化数据查询方法

实现全文检索的方式

Lucene实现全文检索的流程

索引和搜索流程图

创建索引

获得原始文档

创建文档对象

分析文档

创建索引

查询索引

执行查询

渲染结果

使用Lucene开发

下载开发环境

jar包

创建索引库

创建索引库步骤

Field域的属性

LUCK 工具查看索引

查询索引

实现步骤

IndexSearcher搜索方法

TopDocs

分析器功能

分析器Analyzer的执行过程

支持中文分词

StandardAnalyzer：

CJKAnalyzer

SmartChineseAnalyzer

第三方中文分析器

索引库维护

删除

修改

索引库的查询

使用Query的子类查询

MatchAllDocsQuery

TermQuery 精确查询

NumericRangeQuery 根据数值范围查询

BooleanQuery 可以组合查询条件

使用解析查询

查询语法

MulitFieldQueryParser 多个默认域查询

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读