hdfs 开发笔记-DevBox开发工具箱

最新开发笔记

hdfs
利用sqoop 将 hive/hdfs数据导入 Oracle中

首先我们要安装好sqoop笔者我用的是sqoop1其次我们需要ojdbc6.jar这个jar包下载地址如下：www.oracle.comtechnetworkdatabaseenterprise-editionjdbc-112010-090769.html将解压的包复制到sqoop安装目录下的lib目录中最后执行我们的导入 ... [详细]

蜡笔小新 2021-09-09 23:04:17
hadoop
[原创] Hadoop 2.x的DistributedCache无法工作的问题

转载请注明出处：www.codelast.com现象：和这个帖子描述的一样，简单说来就是，在Hadoop2.x上，用新的DistributedCache的API，在mapper中会获取不到这个cache文件。下面就详细地描述一下新旧API的用法区别以及解决办法。『1』旧API将HDFS文 ... [详细]

蜡笔小新 2021-09-09 22:39:49
hadoop
hadoop深入研究:(一)hdfs介绍

转载请注明出处：blog.csdn.netlastsweetoparticledetails8992505hdfs设计原则1.非常大的文件：这里的非常大是指几百MB,GB,TB.雅虎的hadoop集群已经可以存储PB级别的数据2.流式数据访问：基于一次写，多次读。3.商用硬件：????hdfs的 ... [详细]

蜡笔小新 2021-09-09 22:08:25
mysql
Notes: Hadoop-based open source projects

文章系本人原创，转载请保持完整性并注明出自《四火的唠叨》HeresmynotesaboutintroductionandsomehintsforHadoop-basedopensourceprojects.Hopeitsusefultoyou.ManagementToolAmbari:Aweb-basedtoolforprovisioning,managing ... [详细]

蜡笔小新 2021-09-09 22:04:37
hadoop
Hadoop + Terracotta BigMemory: Run, Elephant, Run!

Hadoop+TerracottaBigMemory:Run,Elephant,Run!:WhileHadoopisgreatforbatchprocessingandstorageofverylargedatasets,itcantakehourstoproduceresults.[…]Toaddressthischallenge,TerracottarecentlyannouncedtheB ... [详细]

蜡笔小新 2021-09-09 22:02:36
hdfs
Hadoop hdfs peta2 高可用架构介绍

背景介绍1.hadooppeta的产生目前公司的hadoophdfs系统为了解决集群规模造成的master瓶颈(由于数据量增大，导致元数据的数据量带来的压力已经不能被一个单点master-namenode所能承担的)，开发了区别于社区版的peta系统(这里不对社区版的进行介绍)。2. ... [详细]

蜡笔小新 2021-09-09 21:58:04
mysql
mysql-mysql基本操作命令

mysql--mysql基本操作命令日期式化用法：selectDATE_FORMAT(runTime,%Y-%c-%d)fromhdfsPicLogtwherepathlike%liveEpg3%andcount30andDATE_FORMAT(runTime,%Y-%c-%d)2013-10-30;主键修改为主键自增：altertablehdfsPicLogm ... [详细]

蜡笔小新 2021-09-09 19:38:26
hadoop
大数据分析:结合Hadoop或ElasticMapReduce使用Hunk

作者JonathanAllen，译者张晓鹏Hunk是Splunk公司一款比较新的产品，用来对Hadoop和其它NoSQL数据存储进行探测和可视化，它的新版本将会支持亚马逊的ElasticMapReduce。结合Hadoop使用HunkHadoop由两个单元组成，首先是被称为HDFS的存储单元，HDFS可 ... [详细]

蜡笔小新 2021-09-09 18:48:15
hadoop
HBase完全分布式安装以及Hive远程模式（MySQL作为数据库）的安装

首先是HBase的完成分布式安装。这次部署的环境是hadoop-1.2.1+hbase-0.98.X。因为这个版本的HBase是直接对应hadoop-1.2.1，故也就 ... [详细]

蜡笔小新 2021-09-09 18:33:08
hadoop
NikitaIvanov谈GridGain的Hadoop内存片内加速技术

GridGain最近在2014年的Spark峰会上发布了Hadoop内存片内加速技术，可以为Hadoop应用带来内存片内计算的相关收益。该技术包括两个单元：和HadoopHDFS兼容的内存片内文件系统，以及为内存片内处理而优化的MapReduce实现。这两个单元对基于磁盘的HDFS和传统 ... [详细]

蜡笔小新 2021-09-09 17:54:10
windows
apachehadoop2.4.064bit在windows8.1下直接安装指南（无需虚拟机

工作需要，要开始搞hadoop了，又是大数据，自己感觉大数据、云，只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织，Java如果没有它也不会现在如火中天。言归正传：首先需要下载Apachehadoop2.4.0的tar.gz包，到本地解压缩到 ... [详细]

蜡笔小新 2021-09-09 17:52:36
mysql
flume+kafka+storm+mysql

一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的FlumeKafkaStorm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注意点没提到的，以后一些写错的点，在这边我会做修正；内容应该说绝大部分引用罗宝 ... [详细]

蜡笔小新 2021-09-09 13:07:37

Tags | 热门标签

RankList | 热门文章