Flink 使用介绍相关文档目录
前言
如果Flink作业在退出，之后无法使用Flink UI查看作业日志。TaskManager故障退出后container会销毁，即便是Flink作业没有退出，也无法在Flink UI查看到日志。所以问题来了，我们如何去定位故障退出的TaskManager的日志呢？
作业运行中
如果Flink作业目前正在运行时发生TaskManager失败退出，可通过JobManager日志找到TaskManager对应的container ID和所在机器。然后登录到TaskManager所在的机器，使用如下命令查看日志：
vim /hadoop/yarn/log/application_1720495933140_0012/container_e02_1720495933140_0012_01_000002/taskmanager.log
其中日志文件的保存目录由yarn.nodemanager.log-dirs决定。该路径的格式为：
${yarn.nodemanager.log-dirs}/${application_id}/${container_id}/taskmanager.log
作业已停止
Flink on Yarn作业停止之后，Yarn application的日志会归档到HDFS中。使用上述方式无法再查看TaskManager的日志。
下面给出这种情况下两种查看TaskManager日志的方式。
使用Yarn UI查看
Yarn UI -> Applications -> 目标application -> 页面右下方的Logs，可以查看JobManager（ApplicationMaster）的日志。如下所示：
INFO org.apache.flink.runtime.executiongraph.ExecutionGraph [] - stream_write: default_database.hudi_student (1/1) (8aac2d8594f958bd3623a5e1a1ebdceb_eb4f33b556780fd2dc9181cee5a8f685_0_0) switched from RUNNING to FAILED on container_e02_1720495933140_0012_01_000002 @ worker.bigdata.com (dataPort=40210).
通过这条日志，可以发现出现问题的TaskManager对应的container ID和所在的node manager。接下来的问题就是如何去构造能够访问该container日志的URL。失败的TaskManager日志无法通过界面UI通过点击跳转到。
我们观察JobManager日志的链接：
http://master.bigdata.com:19888/jobhistory/logs/manager.bigdata.com:45454/container_e02_1720495933140_0012_01_000001/container_e02_1720495933140_0012_01_000001/hdfs/jobmanager.log/?start=0&start.time=0&end.time=9223372036854775807
发现它的格式为：
http://job_history服务地址/jobhistory/logs/日志所在节点:端口/container名称/container名称/提交任务的用户/日志文件名
根据前面错误日志中发现的失败TaskManager对应的container id，我们拼接出TaskManager的日志访问链接如下：
http://master.bigdata.com:19888/jobhistory/logs/worker.bigdata.com:45454/container_e02_1720495933140_0012_01_000002/container_e02_1720495933140_0012_01_000002/hdfs/taskmanager.log/?start=0&start.time=0&end.time=9223372036854775807
尝试使用浏览器访问这个链接，可以查看到失败TaskManager的日志。
使用Yarn命令查看
执行如下命令导出Yarn application的日志：
yarn logs -applicationId application_1720495933140_0012 -out ./log
其中-applicationId指定需要导出日志的application ID，-out为导出日志所在的目录。
执行过程中如果出现：
INFO client.AHSProxy: Connecting to Application History server at master.bigdata.com/xx.xx.xx.xx:10200
Permission denied: user=root, access=EXECUTE, inode="/app-logs/hdfs":hdfs:hadoop:drwxrwx---
说明当前用户没有访问Yarn application日志的权限，需要切换用户。
如果出现：
Exception in thread "main" java.nio.file.AccessDeniedException: /opt/paultech/logs
at sun.nio.fs.UnixException.translateToIOException(UnixException.java:84)
at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)
at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107)
at sun.nio.fs.UnixFileSystemProvider.createDirectory(UnixFileSystemProvider.java:384)
at java.nio.file.Files.createDirectory(Files.java:674)
at java.nio.file.Files.createAndCheckIsDirectory(Files.java:781)
at java.nio.file.Files.createDirectories(Files.java:767)
at org.apache.hadoop.yarn.logaggregation.LogToolUtils.createPrintStream(LogToolUtils.java:181)
at org.apache.hadoop.yarn.logaggregation.filecontroller.tfile.LogAggregationTFileController.readAggregatedLogs(LogAggregationTFileController.java:199)
at org.apache.hadoop.yarn.logaggregation.LogCLIHelpers.dumpAllContainersLogs(LogCLIHelpers.java:182)
at org.apache.hadoop.yarn.client.cli.LogsCLI.fetchApplicationLogs(LogsCLI.java:1082)
at org.apache.hadoop.yarn.client.cli.LogsCLI.runCommand(LogsCLI.java:372)
at org.apache.hadoop.yarn.client.cli.LogsCLI.run(LogsCLI.java:153)
at org.apache.hadoop.yarn.client.cli.LogsCLI.main(LogsCLI.java:400)
说明输出日志的目标目录没有访问权限，需要事先配置目录权限。
导出成功之后我们执行tree命令可以查看到日志输出的目录结构。日志按照container所在的node manager分组。如下所示：
[hdfs@manager log]$ tree
.
├── manager.bigdata.com_45454_1721840001471
│ ├── container_e02_1720495933140_0012_01_000001
│ ├── container_e02_1720495933140_0012_01_000003
│ └── container_e02_1720495933140_0012_01_000005
├── master.bigdata.com_45454_1721839991653
│ └── container_e02_1720495933140_0012_01_000004
└── worker.bigdata.com_45454_1721840002895
└── container_e02_1720495933140_0012_01_000002
3 directories, 5 files
到此为止我们清晰的获取到了作业所有container完整的日志信息。
网友评论