当前位置:  开发笔记 > 编程语言 > 正文

将参数传递给Hadoop中的map函数

如何解决《将参数传递给Hadoop中的map函数》经验,为你挑选了2个好方法。

我是Hadoop的新手.我想从mapper类的map函数中的main函数(Java程序)访问命令行参数.请建议如何做到这一点.



1> Praveen Srip..:

Hadoop 0.20引入了新的MR API,新的(oahmapreduce包)和旧的MR API(oahmapred)之间没有太大的功能差异,除了可以使用新的API在映射器和reducer中提取数据.提到Arnon的是旧API.

查看本文以使用新旧API传递参数.



2> Arnon Rotem-..:

您可以通过在参数上挂起参数来传递参数

 JobConf job = new JobConf(new Configuration(), TheJob.class);
 job.setLong("Param Name",longValue)

Configuration类有很少的set方法(Long,Int,Strings等),因此您可以传递多种类型的参数.在map作业中,您可以从Context获取配置(getConfiguration)


是否可以传递ArrayList类型的参数?
推荐阅读
和谐啄木鸟
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有