作者：360691894_8a5c48 | 2021-09-03 19:33
Spark是一个快速、通用的计算集群框架，它的内核使用Scala语言编写，它提供了Scala、Java和Python编程语言high-levelAPI，使用这些API能够非常容易地开发并行处理的应用程序。下面，我们通过搭建Spark集群计算环境，并进行简单地验证，来体验一下使用Spark计算的特点。无论从安装运行环境还是从编写处理程序（用Scala，Spark默认提供的Shell
Spark是一个快速、通用的计算集群框架，它的内核使用Scala语言编写，它提供了Scala、Java和Python编程语言high-level API，使用这些API能够非常容易地开发并行处理的应用程序。
下面，我们通过搭建Spark集群计算环境，并进行简单地验证，来体验一下使用Spark计算的特点。无论从安装运行环境还是从编写处理程序（用Scala，Spark默认提供的Shell环境可以直接输入Scala代码进行数据处理），我们都会觉得比Hadoop MapReduce计算框架要简单得多，而且，Spark可以很好地与HDFS进行交互（从HDFS读取数据，以及写数据到HDFS中）。
安装配置
1 |
wget http://www.scala-lang.org/files/archive/scala-2.10.3.tgz |
2 |
tar xvzf scala-2.10.3.tgz |
在~/.bashrc中增加环境变量SCALA_HOME，并使之生效：
1 |
export SCALA_HOME=/usr/scala/scala-2.10.3 |
2 |
export PATH=$PATH:$SCALA_HOME/bin |
我们首先在主节点m1上配置Spark程序，然后将配置好的程序文件复制分发到集群的各个从结点上。下载解压缩：
1 |
wget http://d3kbcqa49mib13.cloudfront.net/spark-0.9.0-incubating-bin-hadoop1.tgz |
2 |
tar xvzf spark-0.9.0-incubating-bin-hadoop1.tgz |
在~/.bashrc中增加环境变量SPARK_HOME，并使之生效：
1 |
export SPARK_HOME=/home/shirdrn/cloud/programs/spark-0.9.0-incubating-bin-hadoop1 |
2 |
export PATH=$PATH:$SPARK_HOME/bin |
在m1上配置Spark，修改spark-env.sh配置文件：
1 |
cd /home/shirdrn/cloud/programs/spark-0.9.0-incubating-bin-hadoop1/conf |
2 |
cp spark-env.sh.template spark-
推荐阅读
-
如何解决《如何限制方法仅接受对象作为参数而不是类对象作为类型文字？》经验，为你挑选了0个好方法。 ...
[详细]
-
如何解决《类别中的NSManagedObject子类属性》经验，为你挑选了1个好方法。 ...
[详细]
-
如何解决《javax.el.ELException:无法将类型为java.lang.String的2015-12-0318:50转换为类java.util.Date？》经验，为你挑选了1个好方法。 ...
[详细]
-
如何解决《我应该如何在Akka持久性中构造持久性参与者？》经验，为你挑选了0个好方法。 ...
[详细]
-
如何解决《如何获取uinput创建的设备的名称(路径)》经验，为你挑选了1个好方法。 ...
[详细]
-
如何解决《getline()带有文件描述符而不是文件指针》经验，为你挑选了1个好方法。 ...
[详细]
-
如何解决《在OpenCV中逐像素复制图像》经验，为你挑选了1个好方法。 ...
[详细]
-
如何解决《告诉Volley不要使用缓存数据,而是发起新请求？》经验，为你挑选了0个好方法。 ...
[详细]
-
如何解决《如何检查符号链接是否存在,无论它指向何处》经验，为你挑选了1个好方法。 ...
[详细]
-
如何解决《从文件中删除一行》经验，为你挑选了1个好方法。 ...
[详细]
-
如何解决《Android上是否有任何类型的粒子发射器,如iOSCAEmitterLayer用于圆形发射器？》经验，为你挑选了0个好方法。 ...
[详细]
-
如何解决《如何在ASP.NETMVC5中使用带有razor语法的jquery？》经验，为你挑选了0个好方法。 ...
[详细]
-
如何解决《如何使用runhaskell取消隐藏ghc库》经验，为你挑选了1个好方法。 ...
[详细]
-
如何解决《是否可以在rmarkdown呈现的pdf文档中包含svg图像？》经验，为你挑选了0个好方法。 ...
[详细]
-
如何解决《无法建立搅拌机》经验，为你挑选了0个好方法。 ...
[详细]
-
如何解决《在django-import-export中导入m2m关系》经验，为你挑选了1个好方法。 ...
[详细]
-
如何解决《Lodash过滤器和功能组合》经验，为你挑选了1个好方法。 ...
[详细]
-
如何解决《在宏变量名称SAS中解析包含%eval的宏》经验，为你挑选了1个好方法。 ...
[详细]
-
如何解决《C++模板专业化和继承》经验，为你挑选了1个好方法。 ...
[详细]
-
如何解决《IntelliJ正在生成私有的getter》经验，为你挑选了1个好方法。 ...
[详细]
360691894_8a5c48
这个屌丝很懒，什么也没留下！
|
京公网安备 11010802040832号