hdfs 开发笔记-DevBox开发工具箱

最新开发笔记

bash
Redhat AS 4 成功升级最新Gcc

好不容易拿到批机器部署Hadoop1.0.1，却发现datanode的tasktracker死活启动不了，java还报了个fatalerror，真莫名其妙。这里再次佩服google的强大，x度真的啥都找不到。tasktracker启动失败，最终找到原因：hdfs的部分c底层，是针对gcc4.1构建，而RedHatAS4系统中，最新的gcc是3.4。那就动手升级gcc了。但这是个挺苦 ... [详细]

蜡笔小新 2021-09-04 03:21:31
hadoop
Red Hat Storage Server 2.0 推开源版Gluster

RedHat有操作系统、中间件、虚拟化和云架构—现在它们发布了向生产级、向外扩展群集网络附加存储的StorageServer2.0软件。该软件是GlusterFS文件系统的新版本，GlusterFS是在2005年由LawrenceLivermore国家实验室中研发出来的，去年10月被RedHat以1.36亿美元收购。GlusterFS文件系统的原型是在2007年研发出来的，它的第一 ... [详细]

蜡笔小新 2021-09-04 03:16:25
ssh
RedHat Linux AS6上搭建Hadoop集群总结

在家里的两台电脑上用VMware+RedHatLinuxAS6+Hadoop-0.21.0上搭建了一个3节点的Hadoop集群，虽说是原来已经搭建过类似的集群了，也跑过JavaAPI来操作HDFS与Map/reduce，但是这一次依然是受到挑战了，好些小细节，稍有遗漏就会有如坐过山车一般大起大落。故此，记下本次的操作的几个步骤，以供后续参考。1、建3个VM的虚拟机，保证互联互通I ... [详细]

蜡笔小新 2021-09-04 02:23:27
ssh
RedHat Linux ES5上Hadoop 0.20 安装部署笔记

Hadoop部署本文整理了在RedHatLinuxES5上部署、配置hadoop的经验。部署环境列表：RedhatLinuxES5两台：10.68.219.42linuxidc-42；10.68.199.165linuxidc-165JDK1.6.20Hadoop0.20.2031、硬件环境首先 ... [详细]

蜡笔小新 2021-09-04 01:40:52
ssh
在Linux单机上运行Hadoop-0.19.0实例

Hadoop-0.19.0的代码可以到Apache上下载，链接为这里，我使用的Linux机器是RHEL5，Linux上安装的Java版本为1.6.0_16，并且JAVA_HOME=/usr/java/jdk1.6.0_16。实践过程1、ssh无密码验证登陆localhost保证Linux系统的ssh服务已经启动，并保证能够通过无密码验证登陆本机Linux系统。如果不能保证，可以按照 ... [详细]

蜡笔小新 2021-09-04 00:50:03
安全
Hadoop在淘宝中的应用

据悉，淘宝Hadoop集群拥有2860个节点，清一色基于英特尔处理器的x86服务器，其总存储容量50PB，实际使用容量超过40PB，日均作业数高达15万，为淘宝网的日常运营做出了关键支撑。对了，它还有一个很美丽的名字：“云梯”。 ... [详细]

蜡笔小新 2021-09-03 22:45:27
程序员
大型网站图片服务器架构的演进

在主流的Web站点中，图片往往是不可或缺的页面元素，尤其在大型网站中，几乎都将面临“海量图片资源”的存储、访问等相关技术问题。在针对图片服务器的架构扩展中，也会历经很多曲折甚至是血泪教训（尤其是早期规划不足，造成后期架构上很难兼容和扩展）。本文将以一个真实垂直门户网站的发展历程，向大家娓娓道来。构建在Windows平台之上的网站，往往会被业内众 ... [详细]

蜡笔小新 2021-09-03 22:40:41
rpc
CentOS下Hadoop集群搭建

adoop是Apache软件基金会旗下的一个开源分布式计算平台,支持密集型分布式应用并以Apache2.0许可协议发布。Hadoop:以Hadoop分布式文件系统HDFS(HadoopDistributedFilesystem)和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节 ... [详细]

蜡笔小新 2021-09-03 20:02:56
centos
Centos6.5下部署Hadoop2.2的完全分布式集群

我们来看下，如何在Centos6.5下，部署完全分布式集群。下面先来看下具体的系统环境序号名称描述1系统环境Centos6.5最好在linux上部署2 ... [详细]

蜡笔小新 2021-09-03 19:48:48
spark
CentOS6.4配置Spark-0.9集群

Spark是一个快速、通用的计算集群框架，它的内核使用Scala语言编写，它提供了Scala、Java和Python编程语言high-levelAPI，使用这些API能够非常容易地开发并行处理的应用程序。下面，我们通过搭建Spark集群计算环境，并进行简单地验证，来体验一下使用Spark计算的特点。无论从安装运行环境还是从编写处理程序（用Scala，Spark默认提供的Shell ... [详细]

蜡笔小新 2021-09-03 19:33:14
centos
CentOS下Hadoop2.x伪分布环境搭建

一、环境准备1)软件*CentOS6.464位*Hadoop2.2.0&nbs ... [详细]

蜡笔小新 2021-09-03 19:25:54
centos
centos6.5安装hadoop2.6.0集群

前提：已安装好centos6.5操作系统1.系统环境设置(先配置master节点h1m1)说明：IPhostname备注192.168.1 ... [详细]

蜡笔小新 2021-09-03 19:25:34

Tags | 热门标签

RankList | 热门文章