对于给定的MR作业,我需要生成两个输出文件.一个文件应该是Mapper的输出另一个文件应该是Reducer的输出(这只是Mapper的一个聚合)
我可以将mapper和reducer输出都写在一个作业中吗？
编辑:
在作业1(仅映射器阶段)中,输出在一行中包含20个字段,必须将其写入hdfs(file1).在Job 2(Mapper n reducer)中,Mapper从Job1输出中获取输入,删除几个字段以引入标准格式(仅10个字段)并将其传递给reducer,后者写入file2.
我需要在hdfs中同时使用file1和file2 ...现在我的疑问是,无论是在Job1映射器中我是否可以将数据写入hdfs作为file1,然后修改相同的数据并将其传递给reducer.
PS:截至目前,我正在使用2个具有链接机制的作业.第一个作业只包含mapper,秒作业包含mapper和reducer.
京公网安备 11010802040832号 | 京ICP备19059560号-6 