停止滥用机器人爬行？

这是一个好主意吗？？

http://browsers.garykeith.com/stream.asp?RobotsTXT

虐待爬行意味着什么？这对我的网站有什么不好？

并不是的.无论如何,大多数"坏机器人"都会忽略robots.txt文件.

滥用爬行通常意味着抓取.这些机器人正在出现以收集电子邮件地址或更常见的内容.

至于如何阻止它们？这真的很棘手,往往不明智.防爬行技术倾向于不完美并且对普通人造成问题.

可悲的是,就像零售业的"收缩"一样,这是在网上开展业务的成本.