hdfs 开发笔记-DevBox开发工具箱

最新开发笔记

html
flume+kafka+storm+mysql

一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的FlumeKafkaStorm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注意点没提到的，以后一些写错的点，在这边我会做修正；内容应该说绝大部分引用罗宝 ... [详细]

蜡笔小新 2021-08-27 06:08:10
xml
apachehadoop2.4.064bit在windows8.1下直接安装指南（无需虚拟机-mysql教程

工作需要，要开始搞hadoop了，又是大数据，自己感觉大数据、云，只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织，Java如果没有它也不会现在如火中天。言归正传：首先需要下载Apachehadoop2.4.0的tar.gz包，到本地解压缩到 ... [详细]

蜡笔小新 2021-08-27 02:26:23
apache
NikitaIvanov谈GridGain的Hadoop内存片内加速技术-mysql教程

GridGain最近在2014年的Spark峰会上发布了Hadoop内存片内加速技术，可以为Hadoop应用带来内存片内计算的相关收益。该技术包括两个单元：和HadoopHDFS兼容的内存片内文件系统，以及为内存片内处理而优化的MapReduce实现。这两个单元对基于磁盘的HDFS和传统 ... [详细]

蜡笔小新 2021-08-27 02:25:25
xml
HBase完全分布式安装以及Hive远程模式（MySQL作为数据库）的安装

首先是HBase的完成分布式安装。这次部署的环境是hadoop-1.2.1+hbase-0.98.X。因为这个版本的HBase是直接对应hadoop-1.2.1，故也就 ... [详细]

蜡笔小新 2021-08-27 01:51:15
服务器
大数据分析:结合Hadoop或ElasticMapReduce使用Hunk

作者JonathanAllen，译者张晓鹏Hunk是Splunk公司一款比较新的产品，用来对Hadoop和其它NoSQL数据存储进行探测和可视化，它的新版本将会支持亚马逊的ElasticMapReduce。结合Hadoop使用HunkHadoop由两个单元组成，首先是被称为HDFS的存储单元，HDFS可 ... [详细]

蜡笔小新 2021-08-27 01:36:16
hdfs
Hadoop hdfs peta2 高可用架构介绍-mysql教程

背景介绍1.hadooppeta的产生目前公司的hadoophdfs系统为了解决集群规模造成的master瓶颈(由于数据量增大，导致元数据的数据量带来的压力已经不能被一个单点master-namenode所能承担的)，开发了区别于社区版的peta系统(这里不对社区版的进行介绍)。2. ... [详细]

蜡笔小新 2021-08-26 23:37:16
hadoop
hadoop深入研究:(一)hdfs介绍-mysql教程

转载请注明出处：blog.csdn.netlastsweetoparticledetails8992505hdfs设计原则1.非常大的文件：这里的非常大是指几百MB,GB,TB.雅虎的hadoop集群已经可以存储PB级别的数据2.流式数据访问：基于一次写，多次读。3.商用硬件：????hdfs的 ... [详细]

蜡笔小新 2021-08-26 23:31:49
hadoop
[原创] Hadoop 2.x的DistributedCache无法工作的问题

转载请注明出处：www.codelast.com现象：和这个帖子描述的一样，简单说来就是，在Hadoop2.x上，用新的DistributedCache的API，在mapper中会获取不到这个cache文件。下面就详细地描述一下新旧API的用法区别以及解决办法。『1』旧API将HDFS文 ... [详细]

蜡笔小新 2021-08-26 23:03:32
html
Spark Note – Introduction to Streaming

SparkStreaming基于Spark处理流式数据的框架，在MapReduce中，由于其分布式特性——所有数据需要读写磁盘、启动job耗时较大，难以满足时效性要求。而Streaming能够在Spark上生根发芽的原因是因为其内存特性、低延时的执行引擎和高速的执行效率。Streaming ... [详细]

蜡笔小新 2021-08-26 22:37:23
xml
YARN ResourceManager HA配置的图文代码详解

YARN中的资源管理器（ResourceManager）负责整个系统的资源管理和调度，并内部维护了各个应用程序的ApplictionMaster信息，NodeManager信息，资源使用信息等。在2.4版本之后，HadoopCommon同样提供了HA的功能，解决了这样一个基础服务的可靠性和容错性问题 ... [详细]

蜡笔小新 2021-08-26 22:31:01
hdfs
hdfs httpfs与webhdfs的简单使用

HttpFS和WebHDFS通过http协议操作hdfs有两个组件，httpfs和webhdfs，我一开始还以为这两个是同一个东西，其实不是。webhdfs是namenode、datanode自带的，httpfs是完全独立的一个组件。webhdfs上传文件等操作需要通过某个datanode进行，而不是直接通过namen ... [详细]

蜡笔小新 2021-08-26 22:20:41
apache
Hive优化提示-如何写好HQL-mysql教程

尽量将小表放在join的左边，我们这边使用的hive-0.12.0,所以是自动转化的，既把小表自动装入内存，执行mapsidejoin(性能好),这 ... [详细]

蜡笔小新 2021-08-26 21:59:09

Tags | 热门标签

RankList | 热门文章