是否有一些标准的持续时间,爬虫必须在重复命中到同一服务器之间等待,以免使服务器负担过重.
如果没有,任何关于什么可以是一个良好的等待时间的爬虫被认为礼貌的建议.
此值是否因服务器而异...如果是这样,如何确定它?