在一些网站上使用一个Scrapy蜘蛛

我需要创建一个用户可配置的Web蜘蛛/爬虫,我正在考虑使用Scrapy.但是,我无法对域进行硬编码并允许使用URL正则表达式:es - 这可以在GUI中进行配置.

我如何(尽可能简单)使用Scrapy创建一个蜘蛛或一组蜘蛛,其中域和允许的URL正则表达式是可动态配置的？例如,我将配置写入文件,蜘蛛以某种方式读取它.

警告:这个答案适用于Scrapy v0.7,蜘蛛管理器api从此改变了很多.

覆盖默认的SpiderManager类,从数据库或其他地方加载自定义规则,并使用您自己的规则/正则表达式和domain_name实现自定义蜘蛛

在mybot/settings.py中:

SPIDER_MANAGER_CLASS = 'mybot.spidermanager.MySpiderManager'

在mybot/spidermanager.py中:

from mybot.spider import MyParametrizedSpider

class MySpiderManager(object):
    loaded = True

    def fromdomain(self, name):
        start_urls, extra_domain_names, regexes = self._get_spider_info(name)
        return MyParametrizedSpider(name, start_urls, extra_domain_names, regexes)

    def close_spider(self, spider):
        # Put here code you want to run before spiders is closed
        pass

    def _get_spider_info(self, name):
        # query your backend (maybe a sqldb) using `name` as primary key, 
        # and return start_urls, extra_domains and regexes
        ...
        return (start_urls, extra_domains, regexes)

现在你的自定义蜘蛛类,在mybot/spider.py中:

from scrapy.spider import BaseSpider

class MyParametrizedSpider(BaseSpider):

    def __init__(self, name, start_urls, extra_domain_names, regexes):
        self.domain_name = name
        self.start_urls = start_urls
        self.extra_domain_names = extra_domain_names
        self.regexes = regexes

     def parse(self, response):
         ...

笔记:

如果要利用其规则系统,也可以扩展CrawlSpider

运行蜘蛛使用: ./scrapy-ctl.py crawl ,name传递给SpiderManager.fromdomain的地方,是从后端系统中检索更多蜘蛛信息的关键

由于解决方案会覆盖默认的SpiderManager,编码经典蜘蛛(每个SPIDER的python模块)不起作用,但是,我认为这对您来说不是问题.有关默认蜘蛛经理TwistedPluginSpiderManager的更多信息