当前位置:  开发笔记 > 编程语言 > 正文

使用distcp或s​​3distcp将文件从S3复制到HDFS

如何解决《使用distcp或s​​3distcp将文件从S3复制到HDFS》经验,为你挑选了1个好方法。

我正在尝试使用以下命令将文件从S3复制到HDFS:

hadoop distcp s3n://bucketname/filename hdfs://namenodeip/directory

但是这不起作用,得到如下错误:

ERROR tools.DistCp: Exception encountered 
java.lang.IllegalArgumentException: Invalid hostname in URI

我试图在hadoop conf.xml中添加S3密钥,但它也无法正常工作.请帮我逐步完成从S3到HDFS的文件复制步骤.

提前致谢.



1> scalauser..:

命令应该是这样的:

Hadoop distcp s3n://bucketname/directoryname/test.csv /user/myuser/mydirectory/

这会将test.csv文件从S3复制到指定HDFS路径中名为/ mydirectory的HDFS目录.在这个S3文件系统中正在以纯模式使用.更多细节可以在http://wiki.apache.org/hadoop/AmazonS3上找到

推荐阅读
依然-狠幸福
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有