当前位置:  开发笔记 > 大数据 > 正文

如何将hadoop中大文件的前几行复制到新文件?

如何解决《如何将hadoop中大文件的前几行复制到新文件?》经验,为你挑选了1个好方法。

我在hdfs bigfile.txt中有一个大文件.我想将它的前100行复制到hdfs上的新文件中.我尝试了以下命令:

hadoop fs -cat /user/billk/bigfile.txt |head -100 /home/billk/sample.txt

它给了我一个"猫:无法写输出流"的错误.我在hadoop 1上.

还有其他方法吗?(注意:将第1行100行复制到本地或hdfs上的其他文件即可)



1> Scott..:

像这样 -

hadoop fs -cat /user/billk/bigfile.txt | head -100 | hadoop -put - /home/billk/sample.txt

我相信"cat:无法编写输出流"只是因为在读取其限制后头部关闭了流.看到这个关于head for hdfs的答案- /sf/ask/17360801/

推荐阅读
贴进你的心聆听你的世界
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有