美文网首页
FLink发布任务

FLink发布任务

作者: 卡门001 | 来源:发表于2021-08-29 10:47 被阅读0次

    例子任务名:SocketWindowWordCount.jar

    开启客户端模拟发数据

    nc -lk 9527

    命令行启动

    ../../bin/flink run -c org.apache.flink.streaming.examples.socket.SocketWindowWordCount SocketWindowWordCount.jar --hostname localhost --port 9527
    

    参数 --hostname localhost --port 9527代表远程nc ..接收数据的服务与端口

    • 查看过行的列表

    ./flink list -r 
    

    查看结果输出

    1、在nc -lk 9527端口模拟输入


    image.png

    2、 通过控制台查看

    # iZwz94ym4bv8f4w62zn4niZ为jobmanager的主机名
    $/flink../log/flink-root-taskexecutor-0-iZwz94ym4bv8f4w62zn4niZ.out -f 
    

    结果:


    image.png

    3 可视化界面
    Task Manager - 列表 - > 详情 -> stdout

    4 停止

    • 1). -stop
    ../../bin/flink  stop c29ebaa1653d90f104c28e4879ff1a33 #<任务id>
    

    stop方式停止任务对 source 有要求,source必须实现如下接口

    @PublicEvolving
    public interface StoppableFunction {
       void stop();
    }
    
    • 2). 取消任务-cancel
      命令如下(也可通过8081界面也可以取消)
    flink cancel -m 127.0.0.1:8081 357591171dfcca2eea09de
    # 357591171dfcca2eea09de为任务id
    

    savepoint
    如果在 conf/flink-conf.yaml 里面配置了 state.savepoints.dir ,会保存savepoint,否则不会保存 savepoint。在命令行中显式的savepoint
    flink cancel -m 127.0.0.1:8081 -s /tmp/savepoint 357591171dfcca2eea09de

    -3). 取消与停止的区别

    • cancel() :立即调用作业算子的 cancel() 方法,以尽快取消它们。如果算子在接到 cancel() 调用后没有停止,Flink 将开始定期中断算子线程的执行,直到所有算子停止为止。
    • stop() :是更优雅的停止正在运行流作业的方式。stop() 仅适用于 source 实现了StoppableFunction 接口的作业。当用户请求停止作业时,作业的所有 source 都将接收 stop() 方法调用。直到所有 source 正常关闭时,作业才会正常结束。

    并行度计算

    接收数据:1
    FLAT MAP(ETL??): <并行度数>
    逻辑计算: <并行度数>
    打印输出:1
    

    相关文章

      网友评论

          本文标题:FLink发布任务

          本文链接:https://www.haomeiwen.com/subject/ttuwiltx.html