hdfs 开发笔记-DevBox开发工具箱

最新开发笔记

xml
CentOS 6.6 安装 HDFS 2.7.1

本文尝试在CentOS上搭建10台HDFS集群，不会搭建YARN和Hive,因为之后会采用Spark。先安装jdk1.8,此处不细说。服务器有12块磁盘，因此这是一个真实场景下的集群搭建，只是规模较小。下载首先下载hadoopbinary包[plain]viewplaincopyprin ... [详细]

蜡笔小新 2021-09-03 19:08:35
android
Linux入门基础教程

1.1Linux操作系统简介Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系 ... [详细]

蜡笔小新 2021-09-03 15:31:00
xml
CentOS下NFS挂载到其他机器的详细步骤

待实现功能：将10.1.1.36机器上的/share挂载到10.0.1.31机器的/share路径下。1、前提：有两台机器，都是Centos5.X系统。机器1IP：10.1.1.36（作为服务端，必须开启NFS服务、Portmap服务）机器2IP：10.0.1.31（作为客户端，必须开启Portmap服务）2、NFS和Pormap ... [详细]

蜡笔小新 2021-09-03 13:27:21
mapreduce
CentOS6.5上编译安装Hadoop2

前言ApacheHadoop是一款支持数据密集型分布式应用并以Apache2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文，由DougCutting在2004年完成最初版本。环境操作系 ... [详细]

蜡笔小新 2021-09-03 13:19:31
xml
Centos下安装hadoop并与Eclipse连接

许久之前就计划学习hadoop了，直到最近才提上日程。花费了一些时间才把centos下的hadoop搭起来，前后经历的“挫折”绝对可以写成数千字的血泪史了。既有被网上教程坑了的苦逼遭遇，也有教研室大超师兄和实习公司的泡哥的爱心支援。今天终于可以坐下来说说如何在Centos下安装hadoop并与Eclipse连接这个问题。先说一下要准备哪些软件和信息： ... [详细]

蜡笔小新 2021-09-03 12:10:47
mapreduce
centos安装配置hadoop超详细过程

1、集群部署介绍1.1Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（Go ... [详细]

蜡笔小新 2021-09-03 12:09:15
mapreduce
CentOS6.5 安装 Hadoop

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX ... [详细]

蜡笔小新 2021-09-03 11:35:57
nginx
centos7安装配置ELK

1.server端安装#安装elasticsearchyuminstalljava-1.8.0-openjdkrubyyuminstallelasticsearch-2.1.0.rpmsystemctlstartelasticsearchrpm-qcelasticsearchcurl-XGETh ... [详细]

蜡笔小新 2021-09-03 09:48:01
xml
关于mysql的mycat中间件安装与使用详解

MyCAT是MySQL中间件，前身是阿里大名鼎鼎的Cobar，Cobar在开源了一段时间后，不了了之。于是MyCAT扛起了这面大旗，在大数据时代，其重要性愈发彰显。这篇文章主要是MyCAT的入门部署。 ... [详细]

蜡笔小新 2021-09-03 08:28:49
mapreduce
高可用网站多点部署架构实战经验总结

本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述 ... [详细]

蜡笔小新 2021-09-03 08:07:29
mapreduce
大数据平台从浅入深——写给大数据开发初学者的话

经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火 ... [详细]

蜡笔小新 2021-09-03 08:03:23
python
Python中HBase的操作示例代码分析

Python访问HBaseDemo。HBase是一个构建在HDFS上的分布式列存储系统，主要用于海量结构化数据存储。这里，我们的目标只是为Python访问HBase提供一个基本的环境，故直接下载二进制包，采用单机安装。下载后解压，修改配置文件，然后可以直接启动HBase了。所用系统版本为ubuntu14.04。 ... [详细]

蜡笔小新 2021-09-03 07:58:05

Tags | 热门标签

RankList | 热门文章