有没有办法将特定MapReduce作业的输出复制因子设置为与群集的其余部分(例如1)不同？我希望我的主要数据集是3x副本(因为它是当前的),但是我的一些作业的输出很快就从集群中移出并最终被抛出,因此不需要复制,我可以使用空间.
我可以使用setrep,但我想我只能在事后才这样做.
上载文件时,可以通过传递覆盖DFS默认复制因子
-D dfs.replication=1
当您调用作业时,这也应该起作用.
京公网安备 11010802040832号 | 京ICP备19059560号-6 