美文网首页elasticsearch
elasticsearch mapping

elasticsearch mapping

作者: Grey____ | 来源:发表于2019-02-14 14:28 被阅读0次

    mapping是类似于数据库中的表结构定义,主要作用如下:

    定义index下的字段名
    定义字段类型,比如数值型、浮点型、布尔型等
    定义倒排索引相关的设置,比如是否索引、记录position等


    自定义mapping
    示例

    首先创建名为 my_index的索引并设置mapping

    PUT my_index
    {
      "mappings": {
        "doc": {
          "dynamic": false,  # false表示在写入文档时,如果写入字段不存在也不会报错。
          "properties": {
            "title": {
              "type": "text",
              "index": true, # index参数作用是控制当前字段是否被索引,默认为true,false表示不记录,即不可被搜索
              "null_value":"" # 这个参数的作用是当字段遇到null值的时候的处理策略,默认为null,即空值,此时es会忽略该值。可以通过这个参数设置某个字段的默认值
            },
            "name": {
              "type": "keyword"
            },
            "age": {
              "type": "integer"
            }
          }
        }
      }
    }
    

    然后写入一个文档:

    PUT my_index/doc/1
    {
      "title": "hello world",
      "desc": "this is book"
    }
    

    查询一下写入的文档:

    GET my_index/doc/_search
    {
      "query": {
        "match": {
          "title": "hello"
        }
      }
    }
    

    数据类型
    核心数据类型

    字符串型:text、keyword(不会分词)
    数值型:long、integer、short、byte、double、float、half_float等
    日期类型:date
    布尔类型:boolean
    二进制类型:binary
    范围类型:integer_range、float_range、long_range、double_range、date_range

    复杂数据类型

    数组类型:array
    对象类型:object
    嵌套类型:nested object
    地理位置数据类型:geo_point、geo_shape
    专用类型:ip(记录ip地址)、completion(实现自动补全)、token_count(记录分词数)、murmur3(记录字符串hash值)

    多字段特性

    多字段特性(multi-fields),表示允许对同一字段采用不同的配置,比如分词。

    常见例子是对人名实现拼音搜索,只需要在人名中新增一个字段pinyin即可。但是这种方式不是十分优雅,multi-fields可以在不改变整体结构的前提下,增加一个子字段

    多字段.png
    数据如何选型

    text类型作用:分词,将大段的文字根据分词器切分成独立的词或者词组,以便全文检索。
    适用:email内容、某产品的描述等需要分词全文检索的字段;
    不适用:排序或聚合(Significant Terms 聚合例外)

    字符串类型选型

    keyword类型:无需分词、整段完整精确匹配。
    适用于:email地址、住址、状态码、分类tags。

    数值类型选型

    long长整型:一个带符号的64位整数,最小值为 -263 ,最大值为 263 -1。
    integer 整数:一个带符号的32位整数,最小值为 -231 ,最大值为 231 -1。
    short 短整形:一个带符号的16位整数,最小值为-32,768,最大值为32,767。
    byte 字节型:一个带符号的8位整数,最小值为-128,最大值为127。
    double 双精度浮点型:双精度64位IEEE 754浮点数。
    float 单精度浮点型:单精度32位IEEE 754浮点数。
    half_float半精度浮点型:半精度16位IEEE 754浮点数。
    scaled_float:由长度固定的缩放因子支持的浮点数。
    以上,根据长度选型即可。

    日期类型选型

    { “date”: “2015-01-01” }
    { “date”: “2015-01-01T12:10:30Z” }
    { “date”: 1420070400001 }
    如上,日期类型或者时间戳类型。

    参考模板:

    “date”: { 
    “type”: “date”, 
    “format”: “yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis” 
    }
    
    布尔类型选型

    布尔字段接受JSON true和false值,但也可以接受被解释为true或false的字符串和数字:
    false值举例:
    false,“false”,“off”,“no”,“0”,“”(空字符串),0,0.0
    true值举例:
    以上false示例的反面,一切非假值。

    数组类型选型

    在Elasticsearch中,没有专门的数组类型。
    默认情况下,任何字段都可以包含零个或多个值,但是数组中的所有值必须是相同的数据类型。 例如:
    字符串数组: [ “one”, “two” ]
    整数数组:[1,2]
    阵列数组:[1,[2,3]],相当于[1,2,3]
    一系列对象数组:[{“name”:“Mary”,“age”:12},{“name”:“John”,“age”:10}]
    可以理解为单类型扩展多个值的类型。
    如果需要根据数组值进行查询操作,官网建议使用nested嵌套类型。

    数组类型:没有明显的字段类型设置,任何一个字段的值,都可以被添加0个到多个,当类型一直含有多个值存储到ES中会自动转化成数组类型
    对于数组类型的数据,是一个数组元素做一个数据单元,如果是分词的话也只是会依一个数组元素作为词源进行分词,不会是所有的数组元素整合到一起。
    在查询的时候如果数组里面的元素有一个能够命中那么将视为命中,被召回。

    nested嵌套类型

    nested 嵌套类型是Object数据类型的特定版本,允许对象数组彼此独立地进行索引和查询。
    一个例子,自然就明白了:

    PUT my_index
    {
        "mappings":{
            "my_type":{
                "properties":{
                    "user":{
                        "type":"nested"
                    }
                }
            }
        }
    }
    
    PUT my_index/my_type/1
    {
        "group":"fans",
        "user":[
            {
                "first":"John",
                "last":"Smith"
            },
            {
                "first":"Alice",
                "last":"White"
            }
        ]
    }
    
    
    GET my_index/_search
    {
        "query":{
            "nested":{
                "path":"user",
                "query":{
                    "bool":{
                        "must":[
                            {
                                "match":{
                                    "user.first":"Alice"
                                }
                            },
                            {
                                "match":{
                                    "user.last":"Smith"
                                }
                            }
                        ]
                    }
                }
            }
        }
    }
    

    能完成嵌套查询&检索,对于非一对一关系的字段适用。
    在ElasticSearch内部,嵌套的文档(Nested Documents)被索引为很多独立的隐藏文档(separate documents),这些隐藏文档只能通过嵌套查询(Nested Query)访问。每一个嵌套的文档都是嵌套字段(文档数组)的一个元素。
    嵌套文档的内部字段之间的关联被ElasticSearch引擎保留,而嵌套文档之间是相互独立的。
    默认情况下,每个索引最多创建50个嵌套文档,可以通过索引设置选项:index.mapping.nested_fields.limit 修改默认的限制。

    Elasticsearch万能Mapping模板
    PUT testinfo_index
    
    {
        "mappings":{
            "testinfo_type":{
                "properties":{
                    "id":{
                        "type":"long"
                    },
                    "title":{
                        "type":"keyword"
                    },
                    "content":{
                        "analyzer":"ik_max_word",
                        "type":"text",
                        "fields":{
                            "keyword":{
                                "ignore_above":256,
                                "type":"keyword"
                            },
                            "available":{
                                "type":"boolean"
                            },
                            "review":{
                                "type":"nested",
                                "properties":{
                                    "nickname":{
                                        "type":"text"
                                    },
                                    "text":{
                                        "type":"text"
                                    },
                                    "stars":{
                                        "type":"integer"
                                    }
                                }
                            },
                            "publish_time":{
                                "type":"date",
                                "format":"yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
                            },
                            "expected_attendees":{
                                "type":"integer_range"
                            },
                            "ip_addr":{
                                "type":"ip"
                            },
                            "suggest":{
                                "type":"completion"
                            }
                        }
                    }
                }
            }
        }
    }
    
    

    作者:铭毅天下(公众号同名)
    来源:CSDN
    原文:https://blog.csdn.net/laoyang360/article/details/78396928
    版权声明:本文为博主原创文章,转载请附上博文链接!

    作者:lyzkks
    来源:CSDN
    原文:https://blog.csdn.net/sinat_35930259/article/details/80354732
    版权声明:本文为博主原创文章,转载请附上博文链接!

    相关文章

      网友评论

        本文标题:elasticsearch mapping

        本文链接:https://www.haomeiwen.com/subject/vhreeqtx.html