美文网首页
Flink Application脚本提交和常见参数(On Ya

Flink Application脚本提交和常见参数(On Ya

作者: 清蒸三文鱼_ | 来源:发表于2024-06-10 11:24 被阅读0次

    启动脚本

    export HADOOP_CONF_DIR=/data/aiops/hadoop/etc/hadoop
    export HADOOP_USER_NAME=hdfs
    FLINK_HOME=/home/aiops/flink-1.13.6
    #这个是官方的样例, 但是跑完后就会停止不方便观察运行情况
    #WORDCOUNT_JAR=$FLINK_HOME/examples/streaming/WordCount.jar
    #MAIN=org.apache.flink.streaming.examples.wordcount.WordCount
    WORDCOUNT_JAR=$FLINK_HOME/flink_demo-1.0-SNAPSHOT.jar
    MAIN=org.example.Main
    
    $FLINK_HOME/bin/flink run-application -d \
      -t yarn-application \
      -m yarn-cluster \
      -D yarn.application.name=$applicationName \
      -D jobmanager.memory.process.size=1024m \
      -D taskmanager.memory.process.size=2048m \
      -c $MAIN $WORDCOUNT_JAR \
      -t streaming
    

    如果想共享依赖的jar包或者配置文件, 可以加上下面的参数

      -D yarn.provided.lib.dirs='hdfs:///tmp/flink-1.13-share' \
      -D yarn.properties-file.location=app.properties \
      -D yarn.ship-files=ext_runtime.jar
    

    完整参数

    详情查看Flink源码

    yarn_config_configuration common_memory_section

    相关文章

      网友评论

          本文标题:Flink Application脚本提交和常见参数(On Ya

          本文链接:https://www.haomeiwen.com/subject/bnpiqjtx.html