当前位置:  开发笔记 > 运维 > 正文

在通过'pig -x local'使用grunt时,如何在使用DUMP命令时抑制无用信息的膨胀?

如何解决《在通过'pig-xlocal'使用grunt时,如何在使用DUMP命令时抑制无用信息的膨胀?》经验,为你挑选了2个好方法。

我正在使用PigLatin,使用咕噜声,每次我倾倒'东西,我的控制台被骂等等等等,等等非信息,有没有办法压制所有这些?

grunt> A = LOAD 'testingData' USING PigStorage(':'); dump A; 

2013-05-06 19:42:04,146 [main] INFO org.apache.pig.tools.pigstats.ScriptState - 脚本中使用的Pig功能:UNKNOWN
2013-05-06 19:42:04,147 [main] INFO
组织. apache.pig.backend.hadoop.executionengine.mapReduceLayer.MRCompiler - 文件级联阈值:100乐观?假...
...
---另一个像50行无用的情况下在这里重挫垃圾......直到--- ...
...
org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher -成功!

现在我喜欢4行信息寻找:

(daemon,*,1,1,System Services,/var/root,/usr/bin/false)
(uucp,*,,,/var/spool/uucp,/usr/sbin/uucico)
(taskgated,*,13,13,Task Gate Daemon,/var/empty,/usr/bin/false)
(networkd,*,24,24,Network Services,/var/empty,/usr/bin/false)
(installassistant,*,25,25,/usr/bin/false)
grunt>

--->显然如果它有错误,很好的信息有用,但不是当它基本上工作得很好.



1> Lorand Bendi..:

您需要设置log4j属性.例如:

$PIG_HOME/conf/pig.properties :
enable:
# log4jconf=./conf/log4j.properties

rename: log4j.properties.template -> log4j.properties

log4j.properties :
set info to error:
log4j.logger.org.apache.pig=info, A

您还可以设置Hadoop相关的日志记录级别:

log4j.logger.org.apache.hadoop = error, A


Pig 0.12.0中似乎有一个[bug](https://issues.apache.org/jira/browse/PIG-3275)导致失败.

2> 小智..:

一个简单的方法似乎是重定向标准错误,如下所示.

但它会压制一切errors.

pig -x local 2> /dev/null

还发现如果你删除或重命名你的hadoop安装目录基本上使它无法访问猪,那么所有这些INFO消息都会消失.
改变hadoop中的日志记录级别并没有帮助,只是让你知道.


坦率地说,这是唯一直接回答问题并提供简单解决方案的人.创建和编辑log4j.properties文件并没有真正为我删除它.
推荐阅读
Life一切安好
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有