业务需求:
不指定属性的,对现有数据源中的人员信息数据进行检索。
根据数据源对人员进行类别标注,比如重点人员,可疑人员
全文检索和碎片检索
应用场景:
大型安保活动的人员核查,嫌疑人员摸排
数据源:
常住人口库,暂住人口库,旅馆,网吧,火车订票,机票,水电费,社保,教师,学生,宗教人员,上访人员 等等
实现方式:
kafka,flumeng,elasticsearch 搜素引擎
存储结构主要是:
NEST OBJECT嵌套结构,父子关联关系
以人员身份证作为_id,将同一个人所有的记录整合成一个doc。或者有父子关联的doc,以方便检索
文档聚合的方式:
1、 原库的信息,也增量的方式刷到kafka,然后又flumeNg 读取通过自定义Sink写到es中。
2、elasticsearch 的_bulk 的api ,加上 groovy脚本,对同一个doc做更新。或者指定parent 的关联父子关系。
网友评论