当前位置:  开发笔记 > 大数据 > 正文

火花在纱线上流动 - 容器运行超出物理内存限制

如何解决《火花在纱线上流动-容器运行超出物理内存限制》经验,为你挑选了0个好方法。

我正在Yarn上运行一个火花流应用程序,它可以运行好几天,之后我遇到了一个问题,来自下面纱线列表的错误消息:

Application application_1449727361299_0049 failed 2 times due to AM Container for appattempt_1449727361299_0049_000002 exited with exitCode: -104
For more detailed output, check application tracking page:https://sccsparkdev03:26001/cluster/app/application_1449727361299_0049Then, click on links to logs of each attempt.
Diagnostics: Container [pid=25317,containerID=container_1449727361299_0049_02_000001] is running beyond physical memory limits. Current usage: 3.5 GB of 3.5 GB physical memory used; 5.3 GB of 8.8 GB virtual memory used. Killing container.

这是我的内存配置:

spark.driver.memory = 3g
spark.executor.memory = 3g
mapred.child.java.opts  -Xms1024M -Xmx3584M
mapreduce.map.java.opts -Xmx2048M
mapreduce.map.memory.mb  4096
mapreduce.reduce.java.opts  -Xmx3276M
mapreduce.reduce.memory.mb  4096

这个OOM错误很奇怪,因为我没有在内存中保存任何数据,因为它是一个流程序,有没有人遇到过类似的问题?或者谁知道是什么原因造成的?

推荐阅读
手机用户2402852307
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有