减缓网站的搜索速度

有没有办法迫使蜘蛛减慢其网站的蜘蛛？什么东西可以放在标题或robots.txt？

我以为我记得读过一些关于这是可能的事情,但现在找不到任何东西.

如果您指的是Google,则可以使用Google网站管理员帐户(Google网站管理员工具)限制Google抓取您网站的速度.

还有这个,你可以把它放在robots.txt中

User-agent: *
Crawl-delay: 10

将爬网延迟指定为每次爬网之间的秒数.当然,就像robots.txt中的其他内容一样,爬虫必须尊重它,所以YMMV.

除了使用Googlebot的Google网站管理员工具(请参阅Robert Harvey的回答),Yahoo!和Bing支持非标准Crawl-delay指令robots.txt:

http://en.wikipedia.org/wiki/Robots.txt#Nonstandard_extensions

然而,当推动推动时,砰击你的站点的行为不当的机器人将不得不被阻止在更高的级别(例如负载平衡器,路由器,缓存代理,适合您的架构的任何东西).