当前位置:  开发笔记 > 编程语言 > 正文

Hadoop配置文件输出 - 在哪里和什么?

如何解决《Hadoop配置文件输出-在哪里和什么?》经验,为你挑选了0个好方法。

我正在尝试分析我的应用程序,看看我是否可以重现这篇博文.我在命令行中添加了-D mapred.task.profile = true,并检查了它所执行的作业配置.

Hadoop:The Definitive Guide说明配置文件信息将出现在我运行作业的Unix目录中.我开始的目录有一个文件attempt_201305011806_0042_m_000002_0.profile,这是正确的作业ID,但没有映射器#2(只有1个映射器,它没有失败).输出仅在配置文件中包含标题信息; 没有任何实际的分析信息.

Hadoop文档说输出将在用户日志目录中,但我找不到任何内容.如果我进入映射器的任务日志,则会在"profile.out logs"下显示包含合法信息的分析信息.我的HDFS输出目录根本没有分析信息.分析输出不应该在某个地方的HDFS中吗?

此外,它只在日志中提供基于文本的输出,但我发现可视化配置文件的所有工具都采用二进制hprof格式.有关如何获取二进制配置文件或将基于文本的配置文件加载到hprof工具的任何想法?

推荐阅读
TXCWB_523
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有