Spark 1.6-无法在hadoop二进制路径中找到winutils二进制文件

我知道有一个非常相似的帖子(无法在hadoop二进制路径中找到winutils二进制文件),但是,我已经尝试了建议的每一步,但仍然出现相同的错误.

我正在尝试在Windows 7上使用Apache Spark版本1.6.0来执行此页面上的教程http://spark.apache.org/docs/latest/streaming-programming-guide.html,特别是使用此代码:

./bin/run-example streaming.JavaNetworkWordCount localhost 9999

但是,此错误一直出现:

阅读本文后, 无法在hadoop二进制路径中找到winutils二进制文件

我意识到我需要winutils.exe文件,所以我用它下载了一个hadoop二进制2.6.0,定义了一个名为HADOOP_HOME的环境变量:

 with value C:\Users\GERAL\Desktop\hadoop-2.6.0\bin  

并将其放在路径上,如下所示:%HADOOP_HOME%

但是当我尝试代码时仍会出现相同的错误.有谁知道如何解决这个问题？

如果您使用Hadoop在Windows上运行Spark,则需要确保已正确安装Windows hadoop安装.要运行spark,你需要在你的hadoop主目录bin文件夹中安装winutils.exe和winutils.dll.

我会请你先试试这个:

1)您可以从下面的链接中下载捆绑包中的.dll和.exe文件.

https://codeload.github.com/sardetushar/hadooponwindows/zip/master

2)将winutils.exe和winutils.dll从该文件夹复制到$ HADOOP_HOME/bin.

3)HADOOP_HOME在spark-env.sh或命令中设置,并添加HADOOP_HOME/bin到PATH.

然后尝试运行.

如果您需要任何有关hadoop安装帮助的帮助,有一个很好的链接,您可以尝试一下.

http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/

但是,那可以等待.你可以尝试前几个步骤.