为什么Yahoo Indexing Bot被认为是"邪恶的"？

在阅读并评论这个问题PHP库以保持您的网站索引由谷歌,Bing等,我很好奇看看StackOverFlow的站点地图.这返回了一个404错误,我猜测它只是一个受保护的页面,通过确定你是一个索引机器人还是根本不存在.

然后引导我查看StackOverFlow 的robots.txt.我很惊讶地看到评论"Yahoo bot is evil"以及其他一些Indexing机器人(Spinn3r和KSCrawler).我对Spinn3r和KSCrawler不感兴趣,但我的问题是,为什么这些机器人(特别是雅虎)被认为是邪恶的？当然任何搜索引擎的索引都是好事吗？

这些是非常积极的机器人,不会限制请求并可能导致网站崩溃.

有关yahoo bot的示例,请参阅此论坛帖子.