是否有可用于PHP或Ruby的Web爬虫库?一个可以首先深度或宽度优先的库...并且即使在使用href ="../ relative_path.html"和基本URL时也处理链接.
http://phpcrawl.cuab.de/