当前位置:  开发笔记 > 编程语言 > 正文

使用Hadoop 0.20+生成多个输出文件

如何解决《使用Hadoop0.20+生成多个输出文件》经验,为你挑选了1个好方法。

我试图将我的reducer的结果输出到多个文件.数据结果全部包含在一个文件中,其余结果根据其所尊重文件中的类别进行拆分.我知道0.18你可以使用MultipleOutputs执行此操作并且尚未删除它.但是,我正在努力使我的应用程序符合0.20+.现有的多输出功能仍然需要JobConf(我的应用程序使用Job和Configuration).如何根据密钥生成多个输出?



1> Binary Nerd..:

对MultipleOutputs的支持不在0.20.您需要使用旧版API.

它已被添加到0.21中,目前未发布为org.apache.hadoop.mapreduce.lib.output.MultipleOutputs.

邮件列表中的这个主题讨论了这个问题.


这令人难以置信的沮丧和愚蠢.这似乎是该计划所需的基本内容.
推荐阅读
kikokikolove
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有