美文网首页
WaterWheel补充步骤

WaterWheel补充步骤

作者: Bill_Lin | 来源:发表于2017-11-21 23:07 被阅读29次

    基本信息

    假定两个节点
    master:
    172.31.0.51(内网) ec2-54-169-200-228(外网)

    ssh -i ~/Desktop/waterwheel-test-key-pair-gdut.pem root@ec2-54-169-200-228.ap-southeast-1.compute.amazonaws.com
    

    slave:
    172.31.8.7(内网) ec2-13-229-103-186(外网)

    ssh -i ~/Desktop/waterwheel-test-key-pair-gdut.pem root@ec2-13-229-103-186.ap-southeast-1.compute.amazonaws.com
    

    附加步骤:

    • 打包源码发送之前,因为运行的为cluster model,所以topology中的pom.xml要把的注释去掉

    • 发送源码topology和web UI:
      mvn package -DskipTests整个项目,把topology/target的topology-1.0-SNAPSHOT.jar改名为waterwheel-topology.jar,web/target的webapp.war改名为waterwheel.war,把两者通过scp发送到master,

    scp -i ~/Desktop/waterwheel-test-key-pair-gdut.pem -r /Users/billlin/Downloads/Waterwheel-master/topology/target/waterwheel-topology.jar -r /Users/billlin/Downloads/Waterwheel-master/web/target/waterwheel.war mm@ec2-54-169-200-228.ap-southeast-1.compute.amazonaws.com:~
    

    (-i 密匙,-r 递归复制整个目录,两个一起发)
    (记得加目的地址如 :~,可以直接发送到用户mm/ss下)

    • 同理,发送script到master和slave:
    scp -i ~/Desktop/waterwheel-test-key-pair-gdut.pem -r /Users/billlin/Downloads/Waterwheel-master/scripts mm@ec2-54-169-200-228.ap-southeast-1.compute.amazonaws.com:~
    
    • 在wget前,先下载安装wget:
      sudo yum install wget -y

    • 安装jdk后,source ~/.bashrc来刷新path,echo $JAVA_HOME 查看是否成功

    • 每个步骤的MASTER_IP都是输入master的内网IP(外网可能会因为防火墙等原因报错)

    • 如果web无法通过外网登录
      sudo iptables -F 关闭两台机器的防火墙

    • 最后,部署成功后,插入数据:
      进入 apache-storm-1.1.0/bin 执行

    ./storm jar ~/scripts/waterwheel-topology.jar indexinopology/topology/kingbase/KingBaseTopology -m ingest -r 10000 --ingest-server-ip 172.31.0.51
    

    (两台机器都可能作为spout)

    如果打开网页报错时,可能会是QueryCoordinator在其他ip上导致,将Tomcat部署到其他节点上
    或者重新提交topology

    旧数据:
    172.31.14.142(内网)(54-251-130-130)
    172.31.10.190(内网) (52-77-251-131)

    相关文章

      网友评论

          本文标题:WaterWheel补充步骤

          本文链接:https://www.haomeiwen.com/subject/rtmgvxtx.html