如果搜索引擎蜘蛛正在锤击我的网站,我该怎么办？

我运行了一个小型的网络服务器,最近它被搜索引擎蜘蛛提供了奶油.冷却它的正确方法是什么？我应该定期发送5xx响应吗？我应该使用robots.txt设置吗？或者是其他东西？

假设蜘蛛足够尊重robots.txt,您可以通过以下方式限制它访问您的网站:

User-agent: *
Disallow: /

这会影响所有蜘蛛.通过为蜘蛛指定正确的用户代理来缩小范围.

如果抓取工具不尊重您的robots.txt,您可能希望通过阻止其在防火墙中的IP来限制它访问您的网站.

编辑:您可以在此处阅读有关robots.txt的更多信息.