当前位置:  开发笔记 > 后端 > 正文

如何在ruby中下载快速的网页?并行下载?

如何解决《如何在ruby中下载快速的网页?并行下载?》经验,为你挑选了1个好方法。

我需要刮掉(使用scrAPI)400多个网页ruby,我的实际代码是非常顺序的:

data = urls.map {|url| scraper.scrape url }

实际上代码有点不同(异常处理和东西).

我怎样才能让它更快?如何并行化下载?



1> womble..:
th = []
data = []
dlock = Mutex.new

urls.each do |url|
  th << Thread.new(url) do |url|
    d = scraper.scrape url
    dlock.synchronize { data << d }
  end
end

th.each { |t| t.join }

田田!(注意;从记忆中写出,未经测试,可能会吃掉你的小猫等)

编辑:我想有人必须写一个这个的通用版本,所以他们有:http://peach.rubyforge.org/-享受!

推荐阅读
手机用户2402852387
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有