美文网首页
Elasticsearch 安装以及基本api操作

Elasticsearch 安装以及基本api操作

作者: _偏執狂 | 来源:发表于2019-02-28 18:01 被阅读0次

    安装

    elasticsearch单机版安装

    #创建elsearch用户,Elasticsearch不支持root用户运行
    useradd elsearch
    #解压安装包
    tar -xvf elasticsearch-6.5.4.tar.gz -C /es/
    #修改配置文件
    vim conf/elasticsearch.yml
    network.host: 172.16.55.185 #绑定的地址
    #说明:在Elasticsearch中如果,network.host不是localhost或者127.0.0.1的话,就会认为是生产环
    境,会对环境的要求比较高,我们的测试环境不一定能够满足,一般情况下需要修改2处配置,如下:
    #1:修改jvm启动参数
    vim conf/jvm.options
    -Xms128m #根据自己机器情况修改
    -Xmx128m
    #2:单个进程中的最大线程数
    vim /etc/sysctl.conf
    vm.max_map_count=655360
    
    #启动ES服务
    su - elsearch
    cd bin
    ./elasticsearch 或 ./elasticsearch -d #后台系统
    
    # curl -X "GET" "http://localhost:9200"进行测试,看到如下信息,就说明ES启动成功了
    {
      "name" : "7ss4V6j",
      "cluster_name" : "elasticsearch",
      "cluster_uuid" : "HTI7KMajQ6qtzXippnKSUw",
      "version" : {
        "number" : "6.5.4",
        "build_flavor" : "default",
        "build_type" : "tar",
        "build_hash" : "d2ef93d",
        "build_date" : "2018-12-17T21:17:40.758843Z",
        "build_snapshot" : false,
        "lucene_version" : "7.5.0",
        "minimum_wire_compatibility_version" : "5.6.0",
        "minimum_index_compatibility_version" : "5.0.0"
      },
      "tagline" : "You Know, for Search"
    }
    
    

    docker版本安装

    #拉取镜像
    docker pull elasticsearch:6.5.4
    #创建容器
    docker create --name elasticsearch --net host -e "discovery.type=single-node" -e "network.host=172.18.0.1" elasticsearch:6.5.4
    #启动
    docker start elasticsearch
    #查看日志
    docker logs elasticsearch
    

    elasticsearch-head 插件工具安装

    • 源码安装,通过npm run start启动(不推荐)
    • 通过docker安装(推荐)
    • 通过chrome插件安装(推荐)
    • 通过ES的plugin方式安装(不推荐)

    通过docker安装

    #拉取镜像
    docker pull mobz/elasticsearch-head:5
    #创建容器
    docker create --name elasticsearch-head -p 9100:9100 mobz/elasticsearch-head:5
    #启动容器
    docker start elasticsearch-head
    

    由于前后端分离开发,所以会存在跨域问题,需要在服务端做CORS的配置,如下:
    vim elasticsearch.yml

    http.cors.enabled: true
    http.cors.allow-origin: "*"

    chrome插件方式安装

    打开chrome的应用商店,即可安装 安装链接

    基本概念

    索引

    • 索引(index)是Elasticsearch对逻辑数据的逻辑存储,所以它可以分为更小的部分。
    • 可以把索引看成关系型数据库的表,索引的结构是为快速有效的全文索引准备的,特别是它不存储原始值。
    • 可以把Elasticsearch的索引看成MongoDB里的一个集合。
    • Elasticsearch可以把索引存放在一台机器或者分散在多台服务器上,每个索引有一或多个分片(shard),每个分片可以有多个副本(replica)。

    文档

    • 存储在Elasticsearch中的主要实体叫文档(document)。用关系型数据库来类比的话,一个文档相当于数据库表中的一行记录。
    • Elasticsearch和MongoDB中的文档类似,都可以有不同的结构,但Elasticsearch的文档中,相同字段必须有相同类型。
    • 文档由多个字段组成,每个字段可能多次出现在一个文档里,这样的字段叫多值字段(multivalued)。
      每个字段的类型,可以是文本、数值、日期等。字段类型也可以是复杂类型,一个字段包含其他子文档或者
      数组。

    映射

    • 所有文档写进索引之前都会先进行分析,如何将输入的文本分割为词条、哪些词条又会被过滤,这种行为叫
      做映射(mapping)。一般由用户自己定义规则。

    文档类型

    • 在Elasticsearch中,一个索引对象可以存储很多不同用途的对象。例如,一个博客应用程序可以保存文章和评论。
    • 每个文档可以有不同的结构。
    • 不同的文档类型不能为相同的属性设置不同的类型。例如,在同一索引中的所有文档类型中,一个叫title的字段必须具有相同的类型。

    elasticsearch 集群搭建

    elasticsearch的集群是由多个节点组成的,通过cluster.name设置集群名称,并且用于区分其他的集群,每个节点通过node.name指定节点的名称。

    在elasticsearch中,节点的主要类型有4中:

    • master节点
      • 配置文件中node.master属性为true(默认为true),就有资格被选为master节点。
      • master节点用于控制整个集群的操作,比如创建或删除索引,管理其他非master节点。
    • data节点
      • 配置文件中node.data属性为true(默认为true),就有资格被设置成data节点
      • data节点主要用于执行数据相关的操作,比如文档的CRUD。
    • 客户端节点
      • 配置文件中node.master属性和node.data属性均为false
      • 该节点不能作为master节点,也不能作为data节点。
      • 可以作为客户端节点,用于响应用户的请求,把请求转发到其他节点
    • 部落节点
      • 当一个节点配置tribe.*的时候,它是一个特殊的客户端,它可以连接多个集群,在所有连接的集群上执行搜索和其他操作。

    使用docker搭建集群:

    mkdir /home/es-cluster
    cd /home/es-cluster
    mkdir node01
    mkdir node02
    
    #复制安装目录下的elasticsearch.yml、jvm.option文件,作如下修改:
    
    # node01的配置
    cluster.name: es-cluster
    node.name: node01
    node.master: true
    node.data: true
    network.host: 172.18.0.1
    discovery.zen.ping.unicast.hosts: ["172.18.0.1"]
    discovery.zen.minimum_master_nodes: 1
    http.cors.enabled: true
    http.cors.allow-origin: "*"
    
    #node02的配置:
    cluster.name: es-itcast-cluster
    node.name: node02
    node.master: false
    node.data: true
    network.host: 172.18.0.1
    http.port: 9201
    discovery.zen.ping.unicast.hosts: ["172.18.0.1"]
    discovery.zen.minimum_master_nodes: 1
    http.cors.enabled: true
    http.cors.allow-origin: "*"
    
    #创建容器
    docker create --name es-node01 --net host -v /home/es-cluster/node01/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/es-cluster/node01/jvm.options:/usr/share/elasticsearch/config/jvm.options -v /home/es-cluster/node01/data:/usr/share/elasticsearch/data elasticsearch:6.5.4
    
    docker create --name es-node02 --net host -v /home/es-cluster/node02/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/es-cluster/node02/jvm.options:/usr/share/elasticsearch/config/jvm.options -v /home/es-cluster/node02/data:/usr/share/elasticsearch/data elasticsearch:6.5.4
    
    #启动容器
    docker start es-node01 && docker logs -f es-node01
    docker start es-node02 && docker logs -f es-node02
    
    #提示:启动时会报文件无权限操作的错误,需要对node01和node02进行chmod 777 的操作
    sudo chmod 777 node01 -R
    
    #启动报错: “max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]”, 设置max_map_count值(Linux)
    sudo sysctl -w vm.max_map_count=262144
    

    故障测试

    为了测试故障转移,需要再向集群中添加一个节点,并且将所有节点的node.master设置为true。

    docker create --name es-node03 --net host -v /home/es-cluster/node03/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/es-cluster/node03/jvm.options:/usr/share/elasticsearch/config/jvm.options -v /home/es-cluster/node03/data:/usr/share/elasticsearch/data elasticsearch:6.5.4
    
    docker stop es-node01 es-node02
    docker start es-node01 es-node02 es-node03
    

    安装IK分词器

    cd /home/es-cluster/ik
    #将IK的zip压缩包解压到该目录
    #停止、删除现有容器
    docker stop es-node01 es-node02 es-node03
    docker rm es-node01 es-node02 es-node03
    #重新创建容器,注意ik目录的挂载
    docker create --name es-node01 --net host -v /home/es-cluster/node01/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/es-cluster/node01/jvm.options:/usr/share/elasticsearch/config/jvm.options -v /home/es-cluster/ik:/usr/share/elasticsearch/plugins/ik -v /home/es-cluster/node01/data:/usr/share/elasticsearch/data elasticsearch:6.5.4
    
    docker create --name es-node02 --net host -v /home/es-cluster/node02/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/es-cluster/node02/jvm.options:/usr/share/elasticsearch/config/jvm.options -v /home/es-cluster/ik:/usr/share/elasticsearch/plugins/ik -v /home/es-cluster/node02/data:/usr/share/elasticsearch/data elasticsearch:6.5.4
    
    docker create --name es-node03 --net host -v /home/es-cluster/node03/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/es-cluster/node03/jvm.options:/usr/share/elasticsearch/config/jvm.options -v /home/es-cluster/ik:/usr/share/elasticsearch/plugins/ik -v /home/es-cluster/node03/data:/usr/share/elasticsearch/data elasticsearch:6.5.4
    

    RESTful API

    待完善......

    相关文章

      网友评论

          本文标题:Elasticsearch 安装以及基本api操作

          本文链接:https://www.haomeiwen.com/subject/wwuhuqtx.html