ZooKeeper是一个用于分布式应用程序的分布式开源协调服务。它使用一组简单的操作原语，使得分布式应用可以实现更高层次的服务——如同步、配置维护、群组和命名管理等。它以易于编程为基本设计理念，并使用了一个类似于文件系统目录结构风格的数据模型。ZooK ... [详细]

YARN中的资源管理器（ResourceManager）负责整个系统的资源管理和调度，并内部维护了各个应用程序的ApplictionMaster信息，NodeManager信息，资源使用信息等。在2.4版本之后，HadoopCommon同样提供了HA的功能，解决了这样一个基础服务的可靠性和容错性问题 ... [详细]

SparkStreaming基于Spark处理流式数据的框架，在MapReduce中，由于其分布式特性——所有数据需要读写磁盘、启动job耗时较大，难以满足时效性要求。而Streaming能够在Spark上生根发芽的原因是因为其内存特性、低延时的执行引擎和高速的执行效率。Streaming ... [详细]

RedisunstablehasanewcommandcalledWAIT.Suchasimplename,isindeedtheincarnationofasimplefeatureconsistingoflessthan200linesofcode,butprovidinganinterestingwaytochangethedefaultbehaviorofRedisreplicati ... [详细]

单机安装cdhomeuserzookeepertest下载：wgetmirror.bjtu.edu.cnapachezookeeperzookeeper-3.4.5zookeeper-3.4.5.tar.gz解压缩tarzxvfzookeeper-3.4.5.tar.gz修改配置文件cdzookeeper-3.4.5confcpzoo-sample.cfgzoo.cfg修改zoo.cfgd ... [详细]

文章系本人原创，转载请保持完整性并注明出自《四火的唠叨》HeresmynotesaboutintroductionandsomehintsforHadoop-basedopensourceprojects.Hopeitsusefultoyou.ManagementToolAmbari:Aweb-basedtoolforprovisioning,managing ... [详细]

首先是HBase的完成分布式安装。这次部署的环境是hadoop-1.2.1+hbase-0.98.X。因为这个版本的HBase是直接对应hadoop-1.2.1，故也就 ... [详细]

对于多数应用来说，MySQL都是作为最关键的数据存储中心的，所以，如何让MySQL提供HA服务，是我们不得不面对的一个问题。当master ... [详细]

上次搭建HBase环境后，执行登陆服务器时，报下面的错误：Hadoop@gpmasterlogs]$hbaseshellSLF4J:Classpathcontainsmult ... [详细]

一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的FlumeKafkaStorm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注意点没提到的，以后一些写错的点，在这边我会做修正；内容应该说绝大部分引用罗宝 ... [详细]

使用Sqoop实现Hive与MySQL数据库间数据迁移的时报错 ... [详细]

HBase官方提供了基于Mapreduce的批量数据导入工具：Bulkload和ImportTsv。关于Bulkload大家可以看下我另一篇www.linuxi ... [详细]