什么是一个很好的Web爬虫工具

我需要为很多网页编制索引,那里有哪些好的webcrawler实用程序？我最好是在接受.NET可以谈论的东西之后,但这不是一个表明.

我真正需要的是我可以提供网站网址的内容,它将跟随每个链接并存储内容以进行索引.

HTTrack - http://www.httrack.com/ - 是一款非常好的网站复印机.工作得很好.已经使用了很长时间.

Nutch是一个网络爬虫(爬虫是你正在寻找的程序类型) - http://lucene.apache.org/nutch/ - 它使用顶级搜索实用程序lucene.