luigi实战

启动server端

进入luigi安装包环境，执行如下命令

luigid --pidfile /tmp/luigid.pid --logdir /tmp/luigi/log/ --state-path /tmp/luigi/state --background

默认端口是8082

image.png

执行本地task两种方式

# my_module.py, available in your sys.path
import luigi

class MyTask(luigi.Task):
    x = luigi.IntParameter()
    y = luigi.IntParameter(default=45)

    def run(self):
        print(self.x + self.y)

first_way cli方式

luigi --module my_module MyTask --x 123 --y 456 --local-scheduler

second_way 主程序入口方式

import  luigi
class MyTask1(luigi.Task):
    x = luigi.IntParameter()
    y = luigi.IntParameter(default=0)

    def run(self):
        print(self.x + self.y)


class MyTask2(luigi.Task):
    x = luigi.IntParameter()
    y = luigi.IntParameter(default=1)
    z = luigi.IntParameter(default=2)

    def run(self):
        print(self.x * self.y * self.z)


if __name__ == '__main__':
    luigi.run([MyTask1(x=10), MyTask2(x=15, z=3)])

把本地task注册到server