要求：Hadoop/HBase集群运行在远程的数据中心；开发环境搭建在本地的虚机的Ubuntu系统里1.虚拟机，比如VMware，virtualPCor.，里建立ubuntulinux2.下载EclipseJEEVersion，Helios是个不错的考虑，这里强烈建议用JEEversion，实际开发后你就会发现省事不少；3. ... [详细]

环境：Windows7SP1VirtualBox4.1.4r74291Ubuntu11.10一、安装需求安装java1.6，Hadoop0.20.x及zookeeper本次安装仅使用一台虚拟机（192.168.1.102），机上已安装hadoop0.20.205.0和zookeeper3.4.3（zookeeper的安装方法可见于ZooKeeper安装过程http: ... [详细]

A：本脚本运行的机器，LinuxRHEL6B,C,D,：待安装zookeepercluster的机器,LinuxRHEL6首先在脚本运行的机器A上确定可以ssh无密码登录到待安装zk的机器B,C,D,上，然后就可以在A上运行本脚本:$./install_zookeeper前提：B,C,D机器必须配置好repo，本脚本使用的是cdh5的repo,下面 ... [详细]

ApacheMesos是一个集群管理器，提供了有效的、跨分布式应用或框架的资源隔离和共享，可以运行Hadoop、MPI、Hypertable、Spark。系统准备：g++4.1orhiger安装命令：sudoyuminstallgcc-c++Python2.6(fortheMesoswebUI).系统一般自带。Python2.6developerp ... [详细]

linux平台下软件自动部署--Linux通用技术-Linux技术与应用信息，下面是详情阅读。 ... [详细]

1.需求安装ZooKeeper,metaQ2.下载http://zookeeper.apache.org/releases.html当前stable版是zookeeper-3.4.63.解压tar–xfzookeeper-3.4.6.tar.gz解压文件到"/usr/local/zookeep ... [详细]

kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。在这片博文中，作者简单提到了开发kafka而不选择已有MQ系统的原因。两个原因：性能和扩展性。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50MB），每秒处理55万消息（ ... [详细]

本文尝试在CentOS上搭建10台HDFS集群，不会搭建YARN和Hive,因为之后会采用Spark。先安装jdk1.8,此处不细说。服务器有12块磁盘，因此这是一个真实场景下的集群搭建，只是规模较小。下载首先下载hadoopbinary包[plain]viewplaincopyprin ... [详细]

参考博客:《Storm0.9-single》（http://www.cnblogs.com/really-dt/p/3775663.html），感谢。0.安装依赖包[plain]viewplaincopyyuminstalluuid*&nbs ... [详细]

简介mesospheremesosmarathonzookeeper:为master的mesos/marathon的配置文件，这保证master更轻量级。大概为这几个概念，能找到这里的基本上都是知道他们是干啥的，这里不废话了。不懂的可自行脑补。环境： ... [详细]

1.安装jdk1.8并配置环境变量exportJAVA_HOME=/usr/local/opt/jdk1.8.0_51PATH=$JAVA_HOME/bin:$PATH2.zookeeper安装与配置&nbs ... [详细]

最近公有云比较火，公司也在尝试使用多个公有云，IDC也仍然在使用，这样给运维工作带来了很多麻烦。我想对IDC、公有云资源进行统一管理，发现Mesos比较适合干这事。先整一个搞清楚它能做什么。我准备了三个节点来构建一个MINI平台，OS是Centos6.6,规划架构如下：node1:mesos ... [详细]