美文网首页
Jstorm 初探

Jstorm 初探

作者: lmem | 来源:发表于2016-12-17 14:16 被阅读90次

http://www.jstorm.io/
https://github.com/alibaba/

应用场景

==》日志分析,从日志中分析出特定的数据,并将分析的结果存入外部存储器如数据库。目前,主流日志分析技术就使用JStorm或Storm
管道系统, 将一个数据从一个系统传输到另外一个系统, 比如将数据库同步到Hadoop
==》消息转化器, 将接受到的消息按照某种格式进行转化,存储到另外一个系统如消息中间件
==》统计分析器, 从日志或消息中,提炼出某个字段,然后做count或sum计算,最后将统计值存入外部存储器。中间处理过程可能更复杂。
==》实时推荐系统, 将推荐算法运行在jstorm中,达到秒级的推荐效果


Paste_Image.png

Jstorm 结构图

各种组件代表的含义

Nimbus: 资源调度角色
Supervisor: 接受nimubs 任务安排,启动任务
Worker: 进程
Executor: 执行线程
Task: 执行逻辑单元(Spout,Bolt)

Paste_Image.png
安装Jstorm

还是官网全

http://120.25.204.125/QuickStart_cn/Deploy/Standalone.html
(1)解压安装包
(2)配置文件 storm.yaml

 storm.zookeeper.servers:
     - "master"
     - "slave1"
     - "slave2"
 storm.zookeeper.root: "/jstorm"

 cluster.name: "chh_test"

 nimbus.host: "master"
 storm.local.dir: "%JSTORM_HOME%/data"
 supervisor.slots.ports:
    - 6800
    - 6801
    - 6802
    - 6803

在当前机器,一般是nimbus,也就是提交jar包的机器上执行如下命
令:

mkdir ~/.jstorm
cp storm.yaml ~/.jstorm/

(3)启动zookeeper ./bin/zkServer.sh start
(4)确保安装了python以上 和java7.0以上
(5)配置storm ui管理界面
拷贝war包到webapp目录
创建软链文件,作为默认项目

mv ROOT ROOT.old
ln -s jstorm-ui-2.1.1 ROOT

(5)启动Jstorm

#主节点
nohup bin/jstorm nimbus & 
#从节点
nohup bin/jstorm supervisor &

查看是否启动

Paste_Image.png Paste_Image.png

查看结果
http://192.168.0.200:8080/

Paste_Image.png

相关文章

  • Jstorm 初探

    http://www.jstorm.io/https://github.com/alibaba/ 应用场景 ==》...

  • JStorm

    JStorm JStorm官方网站 JStorm Chinese Documentation [github]

  • jstorm常用命令汇总

    1、运行jstorm项目如下我的jstorm项目打包为: jstorm-test-1.0-SNAPSHOT.jar...

  • JStorm和Storm比较

    1、What——JStorm是什么? 概述: JStorm 是一个分布式实时计算引擎,类似Hadoop MapRe...

  • JStorm学习笔记 - 基本概念

    JStorm 是一个分布式实时计算引擎。JStorm 是一个类似Hadoop MapReduce的系统, 用户按照...

  • Jstorm集群的搭建

    1、为什么选择jstorm而不是storm? 阿里Jstorm和storm的对比 简单说下安装步骤: 三台机器:分...

  • 分布式流式计算-jstorm部署

    jstorm是阿里巴巴使用java语言重写的storm,可以用来做流式计算,我们使用jstorm从kafka中读取...

  • JStorm:单词计数-开发示例

    JStorm:1、概念与编程模型JStorm:2、任务调度 转载自个人博客示例功能说明:统计单词出现的次数,spo...

  • JStorm源码分析-2.组装Topology

    我们在使用jstorm的时候,主要的工作就是将我们的数据处理逻辑构造为Topology,再提交给jstorm集群运...

  • JStorm实时计算框架学习

    这是一个JStorm使用教程,不包含环境搭建教程,直接在公司现有集群上跑任务,关于JStorm集群环境搭建,后续研...

网友评论

      本文标题:Jstorm 初探

      本文链接:https://www.haomeiwen.com/subject/btmomttx.html