hdfs 开发笔记-DevBox开发工具箱

最新开发笔记

服务器
Ubuntu 12.04 安装使用DHCP Server

简单的DHCPserver在创建HDFS集群的时候，深感/etc/hosts中添加配置的不方便，容易不一致导致错误，工作量也大。还是在局域网内创建dhcp服务器来的方便。官方文档：https://help.Ubuntu.com/community/isc-dhcp-server先创建一台KVM虚拟机，OS为Ubuntu12.04.然后安装dhcp3serverapt-g ... [详细]

蜡笔小新 2021-09-05 18:50:38
服务器
使用Linux 和Hadoop 进行分布式计算

文章标题：使用Linux和Hadoop进行分布式计算。Linux是中国IT实验室的一个技术频道。包含桌面应用，Linux系统管理，内核研究，嵌入式系统和开源等一些基本分类 ... [详细]

蜡笔小新 2021-09-05 18:34:55
mapreduce
Ubuntu 14.04安装Hadoop2.5.2(伪分布模式)

记录下Ubuntu14.04下安装Hadoop2.5.2(伪分布模式)的详细过程，希望对大家有所帮助。Hadoop也可以运行在一个伪分布模式，每个Hadoop守护进程运行在一个单独的Java程序的一个节点。伪分布模式需要在单机模式基础上进行配置。在/software/hadoop/etc/hadoop/目录下core-site.xml,hdfs-site.xml,mapred- ... [详细]

蜡笔小新 2021-09-05 17:15:16
html
Ubuntu 14.04 LTS 安装 Spark 1.6.0 （伪分布式）

Ubuntu14.04LTS安装Spark1.6.0（伪分布式）需要下载的软件：1.Hadoop-2.6.4.tar.gz下载网址：http://hadoop.apache.org/releases.html2.scala-2.11.7.tgz下载网址：http://www.scala-lang.org/3.spark-1.6.0-bin-hadoop2.6.tg ... [详细]

蜡笔小新 2021-09-05 15:27:51
hadoop
Ubuntu环境下搭建Hadoop开发环境

实践环境：Ubuntu机器名ip作用 ... [详细]

蜡笔小新 2021-09-05 15:17:59
hive
Ubuntu 下 Hive搭建笔记

在Hadoop单机环境搭建成功后（见http://www.linuxidc.com/Linux/2012-07/64508.htm），可以搭建hive。在hdfs上建目录：$hmkdir/tmp$hmkdir/user/hive/warehouse添加权限： ... [详细]

蜡笔小新 2021-09-05 14:41:34
hadoop
Ubuntu部署HBase

安装Hadoop，参考:http://www.linuxidc.com/Linux/2012-06/63948.htm安装Zookeeper，参考：http://www.linuxidc.com/Linux/2012-07/65607.htm安装hbasecd/home/hadoop/hbasesudowgethttp://mirror.bit. ... [详细]

蜡笔小新 2021-09-05 14:26:41
服务器
Ubuntu下Hadoop单机部署及分布式集群部署

重要安装文档http://www.linuxidc.com/Linux/2012-07/64897.htm在选择网络连接时，选择桥接模式设置root用户密码打开终端ctrl+Alt+T修改root密码sudopasswdroot输入密码用户root用户登录surootUbuntu8.10默认没有安装ssh服务,需要手动安装以后才能实现su ... [详细]

蜡笔小新 2021-09-05 14:06:38
服务器
VMware Workstation 9下基于Ubuntu 12.10服务器版本的Hadoop集群的配置

其实，网上关于Hadoop集群的配置的资料不可谓不少，但是，细细找来，多半是在有图形桌面的环境下搭建的。而我们知道，真正要运行Hadoop集群，我们想要更多的资源用来集中数据的处理与稳定，最理想的莫过于用类UNIX系统的服务器版本，更好面对要核心——要解决的问题，而不用浪费资源去做可视化，去显示什么。但是真正要用服务器版类UNIX的OS，面对无图形界面的操作系统，要想像平 ... [详细]

蜡笔小新 2021-09-05 12:34:06
hadoop
Ubuntu12.10 安装hadoop1.0.4伪分布式

我是使用的虚拟机安装的，安装Ubuntu12.10那就不说了，说一下简单的安装Hadoop1.0.4伪分布式的步骤。Windows7硬盘安装Ubuntu12.10图文教程http://www.linuxidc.com/Linux/2012-11/73500.htm1、安装jdk安装方式参照http://www.linuxidc.com/Linux/2013-01/7792 ... [详细]

蜡笔小新 2021-09-05 11:18:55
hive
Spark简介及其在Ubuntu下的安装使用

Spark概述Spark是一种与Hadoop相似的开源集群计算环境，在性能和迭代计算上很有看点，现在是Apache孵化的顶级项目吧。Spark由加州大学伯克利分校AMP实验室(Algorithms,Machines,andPeopleLab)开发，可用来构建大型的、低延迟的数据分析应用程序。Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工 ... [详细]

蜡笔小新 2021-09-05 10:04:59
mapreduce
Ubuntu下配置 Eclipse 编译、开发 Hadoop（MapReduce）源代码

本文不是面向HDFS或MapReduce的配置使用，而是面向Hadoop本身的开发。进行开发的前提是配置好开发环境，即获取源代码并首先能够顺畅编译（build），本文即记录了在Linux（Ubuntu10.10）上配置eclipse编译Hadoop源代码的过程。开发Hadoop应该基于哪个版本的源代码呢？一种选择是通过同步跟踪最新源代码，另一种选择是选择某个较 ... [详细]

蜡笔小新 2021-09-05 08:53:49

Tags | 热门标签

RankList | 热门文章