美文网首页
集成Lucene,查询相关数据

集成Lucene,查询相关数据

作者: java_飞 | 来源:发表于2018-09-21 09:51 被阅读42次

应用场景:有一大部分固定的数据,短期内不会改变的,之前是直接走mysql,然后搜索时为了用到索引,走了前缀匹配,然后其他的一些固定查询在中间设置了一层缓存,但是想想直接这样部署到线上的话,这一类的根据关键字搜索会直接穿透到数据库,感觉不太好,所以就考虑使用了Lucene,之前有打算直接用es,但是用es又感觉有点大材小用。

1.直接导入Lucene7.2.1的相关依赖,写一个初始化索引的方法,这里我是将索引保存到磁盘上,以免下次加载时重新生成索引,如果有数据更新的话,可以将索引文件夹删除,然后重新启动程序即可;

注意:1.如果需要的字段太多的话,建议索引中只保存需要索引的数据,然后查到以后在去库中查出来。

2.如果需要的字段不多的话,可以直接保存在索引中,届时搜索到就可以直接用了,省去库中查询的步骤。

3.索引文件加载到内存,这个时候需要注意:如果是不同的项目的话(也就是不同进程)是无法访问的,所以在操作索引文件的时候必须得确认在同一个项目中;

我项目中用的是dubbo分布式服务,索引内存实在提供者这里,所以对相关查询的操作必须在提供者这端操作;还有在分布式服务中,每启一个提供者的话,都会有这样一部分索引内容的内存。

4.考虑对索引文件或者内存的更新,使数据更新后能在一定时间内更新这个内存或者是文件;

我这边的方案是用一个定时任务去定时更新这个索引内存和索引文件,但是在没有数据更新的时候也会去刷新(思考有没有更好的解决方案)。

5.Lucene中StringField和TextField的区别:StringField用于精确查找,不会对其中的内容进行分词,反之TextField会;

6.我这里的查询比较复杂,有四个条件,其中包含与和或,根mysql查询一样用到或时必须把两个或条件用括号包裹起来,然后外面在用与,

这里的是多条件查询,需要用到BooleanQuery.Builder类,然后我这里的字段搜索方式还统一,2个条件是精确与查询,另外两个条件之间是或一个code是模糊查询,一个name是分词查询,然后前二个和后两个之间是与。

7.Lucene的分页查询,感觉这里的分页查询和我之前用mongodb的有点类似,需要两次查询操作,先把上一次查询到结果的最后一条记录拿出来然后再进行查询;

ScoreDoc lastSd = getLastScoreDoc(pageIndex, pageSize, builder.build(), is);

TopDocs hits2 = is.searchAfter(lastSd,builder.build(), pageSize);

private ScoreDocgetLastScoreDoc(int pageIndex,int pageSize,Query query,IndexSearcher searcher)throws IOException {

if(pageIndex==1)return null;//如果是第一页就返回空

    int num = pageSize*(pageIndex-1);//获取上一页的最后数量

    TopDocs tds = searcher.search(query, num);

    return tds.scoreDocs[tds.scoreDocs.length-1];

}

集成过程中,目前遇到了这些问题和注意事项,文章可能有出入,如果有问题,请联系QQ:1107156537

相关文章

  • 集成Lucene,查询相关数据

    应用场景:有一大部分固定的数据,短期内不会改变的,之前是直接走mysql,然后搜索时为了用到索引,走了前缀匹配,然...

  • 【笔记】Spring的查询功能

    Spring 的查询(导入相关包) 写一个集成 RowMapper的类 person类 遇到的问题:数据库查询中文...

  • spring集成mybatis使mybatis一级缓存失效

    使用mybatis查询数据库: spring集成mybatis查询数据库: 总结:spring集成mybatis进...

  • EF Core—查询数据

    查询数据 Entity Framework(EF) Core 使用语言集成查询 (LINQ) 来查询数据库中的数据...

  • 07_Lucene搜索

    搜索 对要搜索的信息创建Query查询对象,Lucene会根据Query查询对象生成最终的查询语法,类似关系数据库...

  • 2020-05-14 - Linq 查询

    Entity Framework Core 使用语言集成查询 (LINQ) 来查询数据库中的数据。 https:/...

  • Lucene--搜索

    Lucene--搜索 一、创建查询对象的方式 对要搜索的信息创建Query查询对象,Lucene会根据Query查...

  • Lucene 查询原理(一)

    查询原理(一) 从本篇文章开始介绍Lucene查询阶段的内容,由于Lucene提供了几十种不同方式的查询,但其核心...

  • ELK常用搜索命令

    kibana在ELK阵营中用来查询展示数据 elasticsearch构建在Lucene之上,过滤器语法和Luce...

  • ELK:kibana使用的lucene查询语法

    kibana在ELK阵营中用来查询展示数据elasticsearch构建在Lucene之上,过滤器语法和Lucen...

网友评论

      本文标题:集成Lucene,查询相关数据

      本文链接:https://www.haomeiwen.com/subject/yzzonftx.html