美文网首页Java服务端面试
搜索引擎技术选型

搜索引擎技术选型

作者: dusty_giser | 来源:发表于2019-01-25 14:15 被阅读28次

  近期,业主对POI检索提出了一些想法,针对之前简单的WordSegment分词和模糊匹配搜索需要进行一些更为符合业主需求的调整。于是这几天对搜索引擎进行了一些技术选型;

一、Apache Lucene

  Lucene是一个开源的高性能、可扩展的全文检索引擎工具包,但不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎。所以它是一套信息检索工具包,可以说是当今最先进、最高效的全功能开源搜索引擎框架。使用起来相对复杂。
  参考: Lucene解析 - 基本概念

二、Elasticsearch

  Elasticsearch是一个实时的分布式搜索和分析引擎。可以快速处理大规模数据。可以用于全文搜索、结构化搜索和分析。

  使用:

  分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索;
  实时分析的分布式搜索引擎;
  可以扩展到上百台服务器,处理PB级别的结构化或非结构化数据。

  案例:

  维基百科、英国卫报、StackOverFlow、Github、Goldman Sachs(股票分析)

  优点:

  1、 分布式,不需要其他组件,实时分发;
  2、 完全支持Apache Lucene的接近实时的搜索;
  3、 处理多租户不需要特殊配置,而Solr则需要更多的高级设置;(多租户技术)
  4、 采用Gateway的概念,使得完备份更加简单;(gateway)
  5、 各节点组成对等的网络结构,某些节点出现故障时会自动分配其他节点代替其进行工
    作。(分布式)

  缺点:

  没有集成Lucene的新功能

三、Solr

  Solr是Apache Lucene项目的开源企业搜索平台。主要功能包括全文检索、命中标示、分面搜索、动态聚类、数据库集成,以及富文本的处理。是高度可扩展的,并提供了分布式搜索和索引复制。是最流行的企业级搜索引擎。是一个独立的全文搜索服务器。

  优点:

  1、 有一个更大、更成熟的用户、开发和贡献者社区;
  2、 不考虑建索引的同时进行搜索,速度更快;
  3、 支持添加多种格式的索引。

  缺点:

  建立索引时,搜索效率下降,实时索引搜索效率不高。

  对比

  单纯的对已有数据进行搜索时,Solr更快


图一

  实时建立索引时,Solr会产生io阻塞,查询性能较差,Elasticsearch具有更明显的优势。


图二
图三
  总结

  相对来讲,如果考虑静态搜索,Sorl相对更合适;如果考虑实时,涉及到分布式,Elastic相对合适。

相关文章

  • 搜索引擎技术选型

      近期,业主对POI检索提出了一些想法,针对之前简单的WordSegment分词和模糊匹配搜索需要进行一些更为符...

  • 技术搜索一条龙

    遇到不懂的技术问题,首先想到的就是去搜索引擎看看。如搜解决方案->比较技术选型->如何安装测试环境->解决测试中碰...

  • 搜索引擎选择: Elasticsearch与Solr

    搜索引擎选择: Elasticsearch与Solr 搜索引擎选型调研文档 Elasticsearch简介* El...

  • 爬虫(3-1 3-2)

    3-1 爬虫技术选型,爬虫能做什么?技术选型:scrapy vs requests+beautifulsoup1....

  • 技术选型指南

    这是一篇综合类技术选型指南,试图为你提供一份比较通用的技术选型思维框架。当你需要进行技术选型时,可以参照它来设计自...

  • 伴鱼数据库选型的思考,为什么我们 all in TiDB

    作者:伴鱼技术团队 技术选型是由技术方向和业务场景 trade-off 决定的,脱离业务场景来说技术选型是没有任何...

  • Metal基础入门

    一、背景和技术选型 关于技术方案的选型,最权威的肯定是Metal for OpenGL Developers[ht...

  • 通过阿里云maxcompute快速构建数据仓库

    前期技术选型 技术选型确定 鉴于开发资源,以及尚无大数据的技术基础,选用了可以快速上手的阿里云maxcompute...

  • 技术选型

    一、构建工具 gulp 任务管理,对任务文件流式操作,内存中完成,效率高 grunt 任务管理,对任务文件先读...

  • 技术选型

    介绍后台管理系统常见的组合搭配。主要是从业务逻辑层的实现和视图层考虑。 1:Angular+Bootstrap 市...

网友评论

    本文标题:搜索引擎技术选型

    本文链接:https://www.haomeiwen.com/subject/wpvmjqtx.html