当前位置:  开发笔记 > 编程语言 > 正文

从嵌套的链和和弦中获取所有任务ID

如何解决《从嵌套的链和和弦中获取所有任务ID》经验,为你挑选了0个好方法。

我正在使用带有Redis后端的Celery 3.1.9.我正在运行的工作由几个以和弦和链条运行的子任务组成.结构如下所示:

    准备

    下载数据(2名工人的和弦)

    解析并存储下载的数据

    4名工人的长期和弦

    敲定

    生成报告

列表中的每个项目都是一个子任务,它们都链接在一起.第2步和第4步是和弦.通过为第4步创建和弦来连接整个事情,其中​​回调是4 - > 6的链,然后为第2步创建和弦,其回调是3 - >第一和弦.然后,最后创建一个链 - >第二个和弦.然后使用delay()启动该链,并将其ID存储在数据库中.

问题是双重的,首先我希望能够撤销整个事情,其次我希望在我的Task类上有一个自定义的on_failure来进行一些清理,并向用户报告失败.

目前我存储了链的任务ID,我想我可以用它来撤销链.此外,如果出现错误,我想将链路连接到它的根(在on_failure处理程序中)以从数据库中检索相关记录.这不起作用,因为当您仅使用任务的ID重新创建AsyncResult实例时,它的父属性为None.

我尝试的第二件事是存储在外链的结果上调用的serializable()的结果.但是,这不返回整个AsyncResult对象树,它只返回链中第一级的ID(因此不是和弦中子项的ID.)

我尝试的第三件事就是基本上自己实现serializable(),但事实证明,原始方法不会超过2级的原因是因为链的子节点是celery.canvas.chord对象,而不是AsyncResult实例.

问题的例证:

chord([
    foo.si(),
    foo.si(),
    foo.si(),
], bar.si() | bar.si())
res = chord.apply_async()
pprint(res.serializable())

打印以下内容:

(('50c9eb94-7a63-49dc-b491-6fce5fed3713',
  ('d95a82b7-c107-4a2c-81eb-296dc3fb88c3',
   [(('7c72310b-afc7-4010-9de4-e64cd9d30281', None), None),
    (('2cb80041-ff29-45fe-b40c-2781b17e59dd', None), None),
    (('e85ab83d-dd44-44b5-b79a-2bbf83c4332f', None), None)])),
 None)

第一个ID是回调链的id,第二个ID来自和弦任务本身,后三个是和弦内的实际任务.但是我无法从回调链中的任务得到结果(即两个bar.si()调用的ID).

有没有办法获得实际的任务ID?

推荐阅读
手机用户2402852307
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有