mongodb的Replication是通过一个日志来存储写操作的，这个日志就叫做Oplog。在默认情况下,对于64位的mongodb,oplogs都相当大-可能是5%的磁盘空间。通常而言,这是一种合理的设置。可以通过mongod--oplogSize来改变Oplog的日志大 ... [详细]

本文主要参考有http://www.linuxidc.com/Linux/2012-01/51767.htmhttp://www.linuxidc.com/Linux/2012-01/51768.htm准备工作文中出现名词介绍alex,用户名,3台机器用户名一致master,namenode主机名slave[1-N],datanode主机名1安装 ... [详细]

文章标题：Turbolinux系统最新版本的操作介绍。Linux是中国IT实验室的一个技术频道。包含桌面应用，Linux系统管理，内核研究，嵌入式系统和开源等一些基本分类 ... [详细]

MongoDB部署实验系列文章，MongoDB做为NoSQL数据库，最近几年持续升温，越来越多的企业都开始尝试用MongoDB代替原有Database做一些事情。MongoDB也在集群，分片，复制上也有相当不错的的表现。我通过将做各种MongoDB的部署实验进行介绍。前言MongoDB作为一种文档型的NoSQL数据库，使用起来非常灵活，回避了关系型数据库前期的复杂数据库设计。MongoD ... [详细]

文章标题：使用Linux和Hadoop进行分布式计算。Linux是中国IT实验室的一个技术频道。包含桌面应用，Linux系统管理，内核研究，嵌入式系统和开源等一些基本分类 ... [详细]

记录下Ubuntu14.04下安装Hadoop2.5.2(伪分布模式)的详细过程，希望对大家有所帮助。Hadoop也可以运行在一个伪分布模式，每个Hadoop守护进程运行在一个单独的Java程序的一个节点。伪分布模式需要在单机模式基础上进行配置。在/software/hadoop/etc/hadoop/目录下core-site.xml,hdfs-site.xml,mapred- ... [详细]

重要安装文档http://www.linuxidc.com/Linux/2012-07/64897.htm在选择网络连接时，选择桥接模式设置root用户密码打开终端ctrl+Alt+T修改root密码sudopasswdroot输入密码用户root用户登录surootUbuntu8.10默认没有安装ssh服务,需要手动安装以后才能实现su ... [详细]

其实，网上关于Hadoop集群的配置的资料不可谓不少，但是，细细找来，多半是在有图形桌面的环境下搭建的。而我们知道，真正要运行Hadoop集群，我们想要更多的资源用来集中数据的处理与稳定，最理想的莫过于用类UNIX系统的服务器版本，更好面对要核心——要解决的问题，而不用浪费资源去做可视化，去显示什么。但是真正要用服务器版类UNIX的OS，面对无图形界面的操作系统，要想像平 ... [详细]

在Ubuntu12.10上安装Eclipse并在其上运行第一个MapReduce程序WordCount。首先到官网下载eclipse，找到eclipseforjavadeveloper，linux版本eclipse-java-juno-SR1-linux-gtk.tar.gz下载完到下载目录，tar-zxvfeclipse-java-juno-SR1-linux-gtk.ta ... [详细]

如果Hadoop数据集中有不合规格的数据，或者某些数据会引起程序崩溃，可以设置跳过模式，程序代码可以不处理这些异常，把异常抛出去让程序崩溃，hadoop框架会重新执行程序，并跳过会记录，参看http://hadoop.apache.org/common/docs/current/mapred_tutorial.html#Skipping+Bad+Records。但是这里没有给出代码例子，我尝 ... [详细]

Spark概述Spark是一种与Hadoop相似的开源集群计算环境，在性能和迭代计算上很有看点，现在是Apache孵化的顶级项目吧。Spark由加州大学伯克利分校AMP实验室(Algorithms,Machines,andPeopleLab)开发，可用来构建大型的、低延迟的数据分析应用程序。Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工 ... [详细]

本文不是面向HDFS或MapReduce的配置使用，而是面向Hadoop本身的开发。进行开发的前提是配置好开发环境，即获取源代码并首先能够顺畅编译（build），本文即记录了在Linux（Ubuntu10.10）上配置eclipse编译Hadoop源代码的过程。开发Hadoop应该基于哪个版本的源代码呢？一种选择是通过同步跟踪最新源代码，另一种选择是选择某个较 ... [详细]