在Luigi Orchestrator中并行化任务

我定义了三个任务T1,T2和T3,然后执行T4如下任务:

class T4(luigi.Task)
    def requires(self):
        return [T1(), T2(), T3()]

有没有一种自然的方式来告诉路易,我想这些任务T1,T2以及T3在并行执行？

这取决于T1,T2和T3的依赖性.如果他们没有其他任务作为公共依赖项,您可以只运行您的任务--workers=3,Luigi将在单独的工作程序中运行每个任务.