当前位置:  开发笔记 > 编程语言 > 正文

获取HDFS中的最新更新文件

如何解决《获取HDFS中的最新更新文件》经验,为你挑选了1个好方法。

我想从我的一个HDFS目录中获取最新的更新文件.代码应该基本上遍历目录和子目录,并获取带有文件名的最新文件路径.我能够在本地文件系统中获取最新文件,但不知道如何为HDFS做一个.

find /tmp/sdsa -type f -print0 | xargs -0 stat --format '%Y :%y %n' | sort -nr | cut -d: -f2- | head

上面的代码适用于本地文件系统.我可以从HDFS获取日期,时间和文件名,但如何使用这3个参数获取最新文件?

这是我试过的代码:

hadoop fs -ls -R /tmp/apps | awk -F" " '{print $6" "$7" "$8}'

任何帮助将不胜感激.

提前致谢.



1> Neethu..:

这个对我有用:

hadoop fs -ls -R /tmp/app | awk -F" " '{print $6" "$7" "$8}' | sort -nr | head -1 | cut -d" " -f3

输出是整个文件路径.

推荐阅读
夏晶阳--艺术
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有