当前位置:  开发笔记 > Android > 正文

纱线:使yarn-site.xml更改对集群中的工作程序节点有效

如何解决《纱线:使yarn-site.xml更改对集群中的工作程序节点有效》经验,为你挑选了0个好方法。

我们有一个在HDFS 2.7.3上运行的Spark Streaming应用程序,其中Yarn作为资源管理器。在运行应用程序时,这两个文件夹:

  /tmp/hadoop/data/nm-local-dir/filecache
    /tmp/hadoop/data/nm-local-dir/filecache 

正在填充,因此磁盘。因此,根据我的研究发现,在yarn-site.xml中配置这两个属性会有所帮助。


            yarn.nodemanager.localizer.cache.cleanup.interval-ms
            2000
    
    
             yarn.nodemanager.localizer.cache.target-size-mb
             2048
    

我已经在每个namenode和masternode上的yarn-site.xml上配置了它们,并使用stop-yarn.sh start-yarn.sh在masternode上重新启动了yarn 。但是,这似乎仍然无济于事。在进行配置更改时我是否缺少任何内容?以及我们如何确保这些更改传播到所有工作节点?

推荐阅读
ERIK又
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有