当前位置:  开发笔记 > 后端 > 正文

抓取网站的请求/第二标准是什么?

如何解决《抓取网站的请求/第二标准是什么?》经验,为你挑选了1个好方法。

这是我问题最接近的问题,并没有真正得到很好的回答:

网络刮痧礼仪

我正在寻找#1的答案:

你要做多少次请求/秒?

现在我从链接队列中拉出来.每个被抓取的网站都有自己的线程,在请求之间休眠1秒钟.我要求gzip压缩以节省带宽.

有这个标准吗?当然,所有大型搜索引擎都有一些关于此的指导方针.



1> hoju..:

关于网络抓取的维基百科文章提供了一些关于其他人正在做什么的信息:

Cho [22]使用10秒作为访问间隔,WIRE爬虫[28]使用15秒作为默认值.MercatorWeb爬虫遵循自适应礼貌政策:如果从给定服务器下载文档需要t秒,则爬行程序在下载下一页之前等待10秒钟.[29] Dill等人.[30]使用1秒.

我通常尝试5秒,有点随机,所以看起来不那么可疑.

推荐阅读
TXCWB_523
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有