美文网首页elasticsearchElasticsearch
Elasticsearch人员搜索-人员建档

Elasticsearch人员搜索-人员建档

作者: 达微 | 来源:发表于2018-04-10 22:34 被阅读5次

    业务需求:

        不指定属性的,对现有数据源中的人员信息数据进行检索。

        根据数据源对人员进行类别标注,比如重点人员,可疑人员

        全文检索和碎片检索

    应用场景:

        大型安保活动的人员核查,嫌疑人员摸排

    数据源:

        常住人口库,暂住人口库,旅馆,网吧,火车订票,机票,水电费,社保,教师,学生,宗教人员,上访人员 等等

    实现方式:

       kafka,flumeng,elasticsearch 搜素引擎

        存储结构主要是:

            NEST OBJECT嵌套结构,父子关联关系

        以人员身份证作为_id,将同一个人所有的记录整合成一个doc。或者有父子关联的doc,以方便检索

    文档聚合的方式:

     1、 原库的信息,也增量的方式刷到kafka,然后又flumeNg 读取通过自定义Sink写到es中。

     2、elasticsearch 的_bulk 的api ,加上 groovy脚本,对同一个doc做更新。或者指定parent 的关联父子关系。

    相关文章

      网友评论

        本文标题:Elasticsearch人员搜索-人员建档

        本文链接:https://www.haomeiwen.com/subject/qyrohftx.html