当前位置:  开发笔记 > 编程语言 > 正文

如何重新安排在scrapy中稍后要抓取​​的403 HTTP状态代码?

如何解决《如何重新安排在scrapy中稍后要抓取​​的403HTTP状态代码?》经验,为你挑选了1个好方法。



1> eLRuLL..:

    您可以在此处找到要重试的默认状态.

    RETRY_HTTP_CODESsettings.py文件中添加403 应该处理该请求并重试.

    在里面的那些RETRY_HTTP_CODES,我们已经检查了默认的.

    RETRY_TIMES手柄多少次尝试错误页面,默认情况下它被设置为2,您可以覆盖它的settings.py文件.

推荐阅读
小白也坚强_177
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有