爬网

我想抓取特定的东西.特别是正在发生的事件,如音乐会,电影,艺术画廊开放等等.任何可能花时间去的东西.

如何实现爬虫？

我听说过Grub(grub.org - > Wikia)和Heritix(http://crawler.archive.org/)

还有其他人吗？

每个人都有什么意见？

-Jason

该主题的优秀介绍性文本是信息检索简介(在线提供全文).它有一章关于Web爬网,但也许更重要的是,它为您希望对已爬网文档执行的操作提供了基础.

信息检索简介http://nlp.stanford.edu/IR-book/iir.jpg

我可以推荐一本关于这个主题的好书,名为Webbots,Spiders和Screen Scrapers:使用PHP/CURL开发Internet代理的指南.

无论你做什么,请成为一个好公民并遵守robots.txt文件.您可能希望检查维基百科页面上有关聚焦爬虫的参考文献.刚才意识到我知道Topical Web Crawlers的作者之一:评估自适应算法.小世界.