美文网首页
storm源码工作流程(一) 提交任务

storm源码工作流程(一) 提交任务

作者: 小熊先生很不开心 | 来源:发表于2018-07-08 18:52 被阅读9次

    总流程

    switch_1_flow.png

    入口打点


    clipboard.png
    clipboard2.png

    获取bolt 和spout


    clipboard3.png
    返回序列化之后先信息
    clipboard4.png
    执行submitTopology方法 跳入 查看如何提交topology
    clipboard5.png

    进行提交查看


    clipboard6.png
    配置文件
    clipboard7.png
    获得Nimbus 返回一个 serviecehandler 这里自己可以点击去看的
    clipboard8.png
    这里的 servicehandler 会把 序列化的信息通透RPC协议 发送到服务器端的nimbus上
    clipboard9.png
    submitTopologyWithOpts对任务进行了提交 包括了name ,conf,topology等
    clipboard10.png
    进入 submitTopologyWithOpts 方法 查看提交细节
    clipboard11.png

    查看 Topology的名字与任务 是否存在 存在就报错 不用重复提交


    clipboard12.png
    检查任务队列中 等待运行的任务 是否有重名的
    clipboard13.png
    检查通过之后 生成 topologyId 在服务器端的日志log文件 可以看到
    clipboard14.png
    反序列化配置信息
    该方法 基本就是 创建 集群上所有的配置
    clipboard15.png
    分配任务信息 进入方法
    clipboard16.png
    提交任务代码

    相关文章

      网友评论

          本文标题:storm源码工作流程(一) 提交任务

          本文链接:https://www.haomeiwen.com/subject/tinouftx.html