美文网首页ApacheCN程序员
Airflow 中文文档:写日志

Airflow 中文文档:写日志

作者: 布客飞龙 | 来源:发表于2018-11-29 13:39 被阅读5次

在本地编写日志

用户可以使用base_log_folder设置在airflow.cfg指定日志文件夹。 默认情况下,它位于AIRFLOW_HOME目录中。

此外,用户可以提供远程位置,以便在云存储中存储日志和日志备份。

在Airflow Web UI中,本地日志优先于远程日志。 如果找不到或访问本地日志,将显示远程日志。 请注意,只有在任务完成(包括失败)后才会将日志发送到远程存储。 换句话说,运行任务的远程日志不可用。 日志作为{dag_id}/{task_id}/{execution_date}/{try_number}.log存储在日志文件夹中。

将日志写入Amazon S3

在你开始之前

远程日志记录使用现有的Airflow连接来读取/写入日志。 如果没有正确设置连接,则会失败。

启用远程日志记录

要启用此功能,必须按照此示例配置airflow.cfg

阅读全文/改进本文

相关文章

  • Airflow 中文文档:写日志

    在本地编写日志 用户可以使用base_log_folder设置在airflow.cfg指定日志文件夹。 默认情况下...

  • Airflow-工作流中文问题解决

    问题 实际应用中,使用 airflow 运行 BashOperator 操作时,由于业务日志包含中文导致 air...

  • Airflow 中文文档:安装

    获得气流 安装最新稳定版Airflow的最简单方法是使用pip : 您还可以安装Airflow,支持s3或post...

  • Airflow 中文文档:教程

    本教程将向您介绍一些基本的Airflow概念,对象及其在编写第一个管道时的用法。 示例管道定义 以下是基本管道定义...

  • Airflow 中文文档:插件

    Airflow内置了一个简单的插件管理器,可以通过简单地删除$AIRFLOW_HOME/plugins文件夹中的文...

  • Airflow 中文文档:安全

    默认情况下,所有门都打开。 限制对Web应用程序的访问的一种简单方法是在网络级别或使用SSH隧道执行此操作。 但是...

  • Airflow 中文文档:时区

    默认情况下启用对时区的支持。 Airflow在内部和数据库中以UTC格式存储日期时间信息。 它允许您使用时区相关的...

  • Airflow 中文文档:Lineage

    注意 Lineage 支持是非常实验性的,可能会发生变化。 Airflow可以帮助跟踪数据的来源,发生的事情以及数...

  • Airflow 中文文档:项目

    历史 Airflow于2014年10月由Airbnb的Maxime Beauchemin开始。 它是第一次提交的开...

  • Airflow 中文文档:概念

    Airflow Platform是用于描述,执行和监控工作流的工具。 核心理念 DAG的 在Airflow中, D...

网友评论

    本文标题:Airflow 中文文档:写日志

    本文链接:https://www.haomeiwen.com/subject/ettfcqtx.html