美文网首页
presto-server-317 集群安装

presto-server-317 集群安装

作者: 负二贷 | 来源:发表于2019-08-10 12:02 被阅读0次

    [toc]

    1、参考网址:

    https://prestosql.io/docs/current/installation/deployment.html

    2、机器准备

    机器ip          hostname    职责
    192.168.8.31  bigdata1    coordinator
    192.168.8.32  bigdata2    worker
    192.168.8.33  bigdata3    worker
    

    以下命令是针对3台服务器

    3、presto-server下载

    Presto-server下载地址

    https://repo1.maven.org/maven2/io/prestosql/presto-server/317/presto-server-317.tar.gz
    

    4、安装jdk

    JDK1.8+ 这里使用的是:

    [root@bigdata1 presto]# java -version
    java version "1.8.0_211"
    Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
    Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)
    [root@bigdata1 presto]#
    

    5、安装presto

    三台服务器分别执行

    mkdir -p /home/bigdata/installed/presto
    cd /home/bigdata/software
    tar -zxvf presto-server-317.tar.gz -C /home/bigdata/installed/presto
    

    6、配置单机presto

    进入:

    cd /home/bigdata/installed/presto/presto-server-317
    

    在下面创建etc目录

    [root@bigdata1 presto-server-317]# mkdir etc
    [root@bigdata1 presto-server-317]# ls
    bin  etc  lib  NOTICE  plugin  README.txt
    
    [root@bigdata1 presto-server-317]# cd etc
    [root@bigdata1 etc]# touch node.properties jvm.config config.properties log.properties
    [root@bigdata1 etc]# mkdir catalog
    [root@bigdata1 etc]# ls
    catalog  config.properties  jvm.config  log.properties  node.properties
    [root@bigdata1 etc]# touch catalog/jmx.properties
    

    文件说明:
    node.properties:每个节点的环境配置
    jvm.config:jvm参数
    config.properties:配置Presto Server参数
    log.properties:配置日志等级
    catalog:Catalog的配置 也就是数据链接properties存放目录很重要

    6.1、配置node.properties

    coordinator 节点配置如下:

    node.environment=production #集群名
    node.id=bigdata1
    node.data-dir=/home/bigdata/installed/presto/data
    

    worker1节点:

    node.environment=production #集群名
    node.id=bigdata2
    node.data-dir=/home/bigdata/installed/presto/data
    

    worker2节点:

    node.environment=production #集群名
    node.id=bigdata3
    node.data-dir=/home/bigdata/installed/presto/data
    

    6.2、配置jvm.config

    三台服务器均配置如下:

    -server
    -Xmx16G
    -XX:-UseBiasedLocking
    -XX:+UseG1GC
    -XX:G1HeapRegionSize=32M
    -XX:+ExplicitGCInvokesConcurrent
    -XX:+ExitOnOutOfMemoryError
    -XX:+UseGCOverheadLimit
    -XX:+HeapDumpOnOutOfMemoryError
    -XX:ReservedCodeCacheSize=512M
    -Djdk.attach.allowAttachSelf=true
    -Djdk.nio.maxCachedBufferSize=2000000
    

    6.3、配置config.properties
    coordinator 节点配置如下:

    coordinator=true
    node-scheduler.include-coordinator=false
    http-server.http.port=9999
    query.max-memory=16GB
    query.max-memory-per-node=1GB
    query.max-total-memory-per-node=2GB
    discovery-server.enabled=true #这个只需要coordinator节点配置即可,worker接点不需要
    discovery.uri=http://192.168.8.31:9999 #集群使用的这个很关键,coordinator协调worker就靠它
    

    两个worker节点配置如下:

    coordinator=false
    node-scheduler.include-coordinator=false
    http-server.http.port=9999
    query.max-memory=16GB
    query.max-memory-per-node=1GB
    discovery.uri=http://192.168.8.31:9999
    

    如果是单台机器想测试的话,要配置成如下:

    coordinator=true
    node-scheduler.include-coordinator=true
    http-server.http.port=9999
    query.max-memory=5GB
    query.max-memory-per-node=1GB
    query.max-total-memory-per-node=2GB
    discovery-server.enabled=true
    discovery.uri=http://192.168.8.31:9999
    

    6.4、配置log.properties

    三台配置如下

    io.prestosql=INFO
    

    6.5、配置Catalog Properties

    三台配置如下

    vim catalog/jmx.properties
    connector.name=jmx
    

    6.6、配置防火墙

    允许防火墙 放行我们配置的http-server.http.port端口不然会导致集群失败

    6.7、启动presto

    在bigdata1,bigdata2,bigdata3上分别执行启动

    cd /home/bigdata/installed/presto/presto-server-317/bin
    ./launcher start
    

    最后访问页面:http://192.168.8.31:9999/


    image.png

    相关文章

      网友评论

          本文标题:presto-server-317 集群安装

          本文链接:https://www.haomeiwen.com/subject/ibtrjctx.html