美文网首页
Storm 开发环境准备

Storm 开发环境准备

作者: DongGuangqing | 来源:发表于2016-11-27 16:18 被阅读51次

操作模式

本地模式

在本地模式下,Storm拓扑结构运行在本地计算机的单一JVM进程上。这个模式用于开发、测试以及调试,因为这是观察所有组件如何协同工作的最简单方法。
在这种模式下,我们可以调整参数,观察我们的拓扑结构如何在不同的Storm配置环境下运行。
要在本地模式下运行,我们要下载Storm开发依赖,以便用来开发并测试我们的拓扑结构。

远程模式

在远程模式下,我们向Storm集群提交拓扑,它通常由许多运行在不同机器上的流程组成。远程模式不会出现调试信息, 因此它也称作生产模式
不过在单一开发机上建立一个Storm集群是一个好主意,可以在部署到生产环境之前,用来确认拓扑在集群环境下没有任何问题。

storm应用就开发完成后,编译、打包生成jar文件 xxx.jar ,将此jar文件在jstorm集群的nimbus机器上提交即可: storm jar xxx.jar 入口类名 config.properties

本地模式切换到远程模式

上线前,如果需要提交到真实的集群上运行自己的拓扑,你需要把LocalCluster换成StormSubmitter并调用submitTopology方法, 它负责把拓扑发送给集群。

  • 本地提交拓扑
LocalCluster cluster = new LocalCluster();
cluster.submitTopology("Count-Word-Topology-With-Refresh-Cache", conf, 
    builder.createTopology());
Thread.sleep(1000);
cluster.shutdown();
  • 提交到真实集群
    StormSubmitter.submitTopology("Count-Word-Topology-With_Refresh-Cache", conf,
            builder.createTopology());

相关文章

  • Storm 开发环境准备

    操作模式 本地模式 在本地模式下,Storm拓扑结构运行在本地计算机的单一JVM进程上。这个模式用于开发、测试以及...

  • storm_Helloword案例

    【准备】java环境python环境zookeeper环境storm环境 上代码:一般的storm程序大概分为三个...

  • 大数据基础知识学习-----Storm学习笔记(三)Storm集

    Storm集群搭建 环境准备 jar包下载 安装集群步骤:http://storm.apache.org/rele...

  • Storm开发——Zookeeper集群设置(单例)

    Storm开发环境装配详见《原生腾讯云centos7.5 Apache Storm搭建指南》(备注:为了降低配置环...

  • Storm实战之WordCount

    在storm环境部署完毕,并正确启动之后,现在就可以真正进入storm开发了,按照惯例,以wordcount作为开...

  • 准备开发环境

    大家好,我是小护士。本篇主要是讲述我是如何准备开发环境的,以及在最后梳理一份开发环境的参数list。老司机就直接忽...

  • Storm+Kafka的实践

    环境 storm 1.2.1 kafka 0.10.2.2 eclipse maven依赖 Storm写入到kaf...

  • storm集群安装

    一、环境准备 1.1 基础环境 1.1.1 增加主机名配置 增加storm主机名称【3台服务器】 增加zookee...

  • asdine/storm学习笔记

    前言: github地址 asdine/storm asdine/storm 是golang 开发的一个 or...

  • Zookeeper+Storm集群搭建

    基础集群环境参考上一篇文章:集群基础环境搭建 Storm集群架构 Storm是Master-Slaves 主从架构...

网友评论

      本文标题:Storm 开发环境准备

      本文链接:https://www.haomeiwen.com/subject/tolnpttx.html