美文网首页elasticsearch我用 Linux@IT·互联网
使用Elasticsearch构建风险搜索引擎

使用Elasticsearch构建风险搜索引擎

作者: 点融黑帮 | 来源:发表于2016-11-22 11:41 被阅读908次

    在P2P审核过程中,我们需要收集借贷人的负面信息做风险评估和信息检索。在用传统的DB(如MySQL)做全文检索时由于索引是存储在磁盘导致搜索实时性很低,也无法实现对中文的分词。

    因此我们引入了Elasticsearch(以下简称ES)来构建P2P领域的风险搜索引擎。

    技术架构

    数据收集

    采用pyspider构建分布式网络爬虫, 以RabbitMQ作为消息队列,负责数据的采集,将数据持久化到MongoDB。

    数据同步

    以Zookeeper作为调度平台,Redis做缓存策略,实现数据的增量同步。

    ES集群

    我们用三台物理机搭建一套ES集群。

    引入ik分词实现对中文的分词处理:

    IK Analyzer中文分词:

    "四川省成都市高新区金融城"->  "四川省", "成都市", "高新区", "金融城"

    自定义了身份证分词插件:

    "511234190012011234" ->

    "511234190012011234"

    "511234"

    "5112341900"

    "51123419001201"

    "1234"

    搜索平台

    采用Spring Boot构建一个搜索平台做风险信息检索。

    为什么要使用ES?

    ES是一个基于Lucene、支持RESTful、可实时分析的分布式搜索引擎, 使用JSON通过HTTP的方式来索引数据。 Github、Stackoverflow、Mozilla、Netflix等多家公司都将ES作为他们的搜索引擎。

    它具有以下优势:

    Lucene的倒排索引比mysql的b-tree检索更快。

    在Mysql中给两个字段独立建立的索引无法联合起来使用,必须对联合查询的场景建立复合索引。而Lucene可以任意AND或者OR组合使用索引进行检索。

    ES支持nested document,可以把一批数据点嵌套存储为一个document block,减少需要索引的文档数。

    ES可以把分开的数据当成一张表来查询和聚合。相比之下Mysql如果自己做分库分表的时候,联合查询不方便。

    跨节点平衡集群中节点间的索引与搜索负载。

    自动复制你的数据以提供冗余副本,防止硬件错误导致数据丢失。

    自动在节点之间路由,以帮助你找到你想要的数据。

    可以扩展到上百台服务器,处理PB级别的结构化或非结构化数据。

    相关概念

    何为全文检索?

    将非结构化数据中的一部分信息提取出来,重新组织,使其变得有一定结构,然后对此有一定结构的数据进行搜索,从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的然后重新组织的信息,我们称之索引(Index)。这种先建立索引,再对索引进行搜索的过程就叫全文检索(Full-Text Search)。

    关于ES

    Index:索引,类似于关系数据库的database。

    Type:类型,类似于关系数据库的table。

    Document:文档,类似于关系数据库的一行记录。

    Field:类似于关系数据库的某一列,这是ES数据存储的最小单位。

    Cluster:代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的。

    Shard:代表索引分片,ES可以把一个完整的索引分成多个分片,这样的好处是可以把一个大的索引拆分成多个,分布到不同的节点上,构成分布式搜索。分片的数量只能在索引创建前指定,并且索引创建后不能更改。

    Replica:代表索引副本,ES可以设置多个索引的副本,副本的作用一是提高系统的容错性,当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高ES的查询效率,ES会自动对搜索请求进行负载均衡。

    性能优化

    在实践过程中,我们会做不同程度的调优,以此来提高搜索引擎的性能。

    索引性能

    ES的index的线程池默认队列大小为200,实际过程中我们将其提高到500以加快索引速度,threadpool.index.queue_size: 500。

    在索引文档的时候,由于读取的数据量大,不得不采用bulk操作,ES默认的队列大小过小(默认为50),大量的写入操作降低了索引性能,我们将其大小调至3000,threadpool.bulk.queue_size: 3000,当然这个值应当根据你的数据量来定,一般来说,在大数据量的情况下,2000 - 3000能较好的提升性能。

    还有一些search、get参数的设置,我们采用ES的默认配置,具体可参考(https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-threadpool.html)。

    查询性能

    路由机制

    由于收集的借贷人信息来自各地,如果只有一个用户纬度,那么每次检索都需要消耗更多的时间。为了提高查询速度,减少慢查询,我们在每个集群使用不同的routing,然后在前端分析查询时,把各个不同的查询由路由引入到相应的集群,从而加快查询速度。例如,我们可以按照省份作为一个纬度,在统计分析某个省份的风险信息时,可以快速的获取结果,而不需要每个分片逐一扫描。

    JVM性能

    ES的Heap Size默认情况下未做优化,官方的建议是设置堆内存为可用内存的一半,在启动时可以通过设置ES_HEAP_SIZE参数来指定大小。但是Don’t Cross 32 GB!,在大内存(如256GB)的机器中,使用超过30GB(如64GB)的Heap Size还不如32GB的性能。具体的可以参照ES的官方说明

    (https://www.elastic.co/guide/en/elasticsearch/guide/current/heap-sizing.html#compressed_oops)。

    插件工具

    Elasticsearch-Head:主要用作数据查询。

    (https://github.com/mobz/elasticsearch-head)

    Elasticsearch-Kopf:用户ES集群健康状态的监控。

    (https://github.com/lmenezes/elasticsearch-kopf)

    Elasticsearch-Knapsack:用于Import/Expoer ES数据,支持tar、zip、cpio等多种格式。

    (https://github.com/jprante/elasticsearch-knapsack)

    Elasticsearch-SQL:用于支持SQL查询。

    (https://github.com/NLPchina/elasticsearch-sql)

    Elasticsearch-analysis-ik:一款优秀的中文分词插件。

    (https://github.com/medcl/elasticsearch-analysis-ik)

    本文作者:白宗直(点融黑帮), 来自点融Data Team。目前主要负责构建风控领域的搜索引擎,关注分布式应用和大数据处理,Scala爱好者,业余喜欢玩桌球、篮球、滑雪。

    相关文章

      网友评论

        本文标题:使用Elasticsearch构建风险搜索引擎

        本文链接:https://www.haomeiwen.com/subject/heoiuttx.html