当前位置:  开发笔记 > 前端 > 正文

Scrapy背景下刮刀,履带和蜘蛛之间的区别

如何解决《Scrapy背景下刮刀,履带和蜘蛛之间的区别》经验,为你挑选了1个好方法。

试图阅读Scrapy的代码.scaper,crawlerspider这两个词令人困惑.例如

scrapy.core.scraper
scrapy.crawler
scrapy.spiders

任何人都可以在Scrapy的背景下解释这些术语的含义和差异吗?提前致谢.



1> bosnjak..:

Crawler(scrapy.crawler)是Scrapy API的主要入口点.它提供对所有Scrapy核心组件的访问,并且它用于将扩展功能挂钩到Scrapy中.

Scraper(scrapy.core.scraper)组件负责解析响应并从中提取信息.它是从引擎运行的,它用于运行你的蜘蛛.

scrapy.spiders是一个包含基本Spider实现(用于编写蜘蛛)的模块,以及一些开箱即用的常见蜘蛛(如用于基于规则集的爬网的CrawlSpider,用于基于站点地图的爬网的SitemapSpider,或用于爬网XML提要的XMLFeedSpider) ).

官方文档页面上提供了更多信息:
http ://doc.scrapy.org/en/latest/topics/spiders.html?highlight = crawpider #spiders http://doc.scrapy.org/en/latest/topics/ api.html?亮点= scrapy.crawler#模块scrapy.crawler

推荐阅读
360691894_8a5c48
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有