美文网首页
21-23 Schedule/Event(出错)/Tumbing

21-23 Schedule/Event(出错)/Tumbing

作者: 山猪打不过家猪 | 来源:发表于2023-11-20 08:44 被阅读0次

    21 Schedule Trigger

    创建一个schedule trigger


    image.png

    22 Create Storage Event Trigger (出错)

    • 通过event trigger 使得指定文件 例如 fxx开头的.txt文件只要 一上传到blob的folder下,出发trigger,将其copy到archieve的文件夹里(或者其他处理)
      流程梳理:
    1. 创建一个copy的pipeline
    2. 在source 里 创建一个新的dataset,由于我们的源文件不是具体的一个文件,所以需要将文件的路径和文件名设置为动态的


      image.png

      3.给pipeline设置需要传递的参数


      image.png
      4.将3设置好的参数,传递给2的dataset
      image.png

      5.设置sink,完成后,使用debug可以看到,pipeline创建完成


      image.png
      6.设置Storage event 自动传递参数给pipeline,每当有com开头的文件传入到指定的container里,自动运行pipeline
      7.设置storage event trigger
      image.png
      8.设置好后,填入trigger的动态参数
      image.png

    23 Tumbling trigger()

    主要用于加载历史数据和增量load

    相关文章

      网友评论

          本文标题:21-23 Schedule/Event(出错)/Tumbing

          本文链接:https://www.haomeiwen.com/subject/kzwpwdtx.html