我需要刮掉(使用scrAPI)400多个网页ruby,我的实际代码是非常顺序的:
data = urls.map {|url| scraper.scrape url }
实际上代码有点不同(异常处理和东西).
我怎样才能让它更快?如何并行化下载?
th = [] data = [] dlock = Mutex.new urls.each do |url| th << Thread.new(url) do |url| d = scraper.scrape url dlock.synchronize { data << d } end end th.each { |t| t.join }
田田!(注意;从记忆中写出,未经测试,可能会吃掉你的小猫等)
编辑:我想有人必须写一个这个的通用版本,所以他们有:http://peach.rubyforge.org/-享受!