Spark是一个快速、通用的计算集群框架，它的内核使用Scala语言编写，它提供了Scala、Java和Python编程语言high-levelAPI，使用这些API能够非常容易地开发并行处理的应用程序。下面，我们通过搭建Spark集群计算环境，并进行简单地验证，来体验一下使用Spark计算的特点。无论从安装运行环境还是从编写处理程序（用Scala，Spark默认提供的Shell ... [详细]

一、环境准备1)软件*CentOS6.464位*Hadoop2.2.0&nbs ... [详细]

前提：已安装好centos6.5操作系统1.系统环境设置(先配置master节点h1m1)说明：IPhostname备注192.168.1 ... [详细]

请问Hadoop中MapReduce的一个问题--Linux通用技术-Linux技术与应用信息，下面是详情阅读。 ... [详细]

前言ApacheHadoop是一款支持数据密集型分布式应用并以Apache2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文，由DougCutting在2004年完成最初版本。环境操作系 ... [详细]

我们提到的云计算一般有三种类型：软件即服务（SoftwareasaService,SaaS），平台即服务（PlatformasaService,PaaS）和基础架构即服务（InfrastructureasaService,IaaS）。云概念刚出来的时候被人说的云里雾里摸不着头，现在云技术已经深入人心，也许你正在使用云而自己没有察觉呢，比如每天使用的Gma ... [详细]

1、集群部署介绍1.1Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（Go ... [详细]

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX ... [详细]

本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述 ... [详细]

经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火 ... [详细]

大数据全栈式开发语言–Python ... [详细]

这篇文章主要介绍了Python中的map()函数和reduce()函数的用法,代码基于Python2.x版本,需要的朋友可以参考下 ... [详细]