mapreduce 开发笔记-DevBox开发工具箱

最新开发笔记

go
MongoDB中使用MapReduce进行分组统计

MongoDB中使用MapReduce进行分组统计最近在统计某一个时间段的url去重数，由于数据量巨大导致报错，提示：distinctfailed:{ ... [详细]

蜡笔小新 2021-09-10 00:23:43
linux
在 Oracle 数据库中实现 MapReduce

在程序员开发并行程序时，Map-Reduce模式正变得流行起来。这些map-reduce程序通常来并行处理大量数据。本文来演示如何在Oracle数 ... [详细]

蜡笔小新 2021-09-10 00:11:52
hadoop
Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入 Hive0.13.1 ，并更新Hive中的主表

将Oracle中的业务基础表增量数据导入Hive中，与当前的全量表合并为最新的全量表。通过Sqoop将Oracle中表的导入Hive，模拟全量表和 ... [详细]

蜡笔小新 2021-09-10 00:05:47
mysql
基于MySQL元数据的Hive的安装和简单测试

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换 ... [详细]

蜡笔小新 2021-09-09 23:57:43
go
Hbase0.98.4中部署用户自定义的Observer Coprocessor

Hbase自0.92之后开始支持Coprocessor（协处理器），旨在使用户可以将自己的代码放在regionserver上来运行，即将计算程序移动到数 ... [详细]

蜡笔小新 2021-09-09 23:49:54
go
Spark Note – Introduction to Streaming

SparkStreaming基于Spark处理流式数据的框架，在MapReduce中，由于其分布式特性——所有数据需要读写磁盘、启动job耗时较大，难以满足时效性要求。而Streaming能够在Spark上生根发芽的原因是因为其内存特性、低延时的执行引擎和高速的执行效率。Streaming ... [详细]

蜡笔小新 2021-09-09 23:18:01
hadoop
Hadoop Hive No address associated with hostname

今天进行了Hive的迁移，出现了如下的异常。TotalMapReducejobs1LaunchingJob1outof1Numberofreducetasksdeterminedatcompiletime:1Inordertochangetheaverageloadforareducerinbytes:sethive.exec.reducers.bytes.per.reduc ... [详细]

蜡笔小新 2021-09-09 23:16:28
hadoop
java.net.ConnectException: to 0.0.0.0:10020 failed

在DataNode节点中的HiveCLI中执行selectcount(*)fromtable_name查询时报错：java.io.IOException:java.net.ConnectException:CallFromSlave7.Hadoop192.168.8.207to0.0.0.0:10020failedonconnectionexception:java.net.ConnectException: ... [详细]

蜡笔小新 2021-09-09 22:39:24
go
Twitter Memes Dataset Overview with PageRank

ThisisthelastofthreeblogpostsfromthissummerinternshipprojectshowcasinghowtoanswerquestionsconcerningbigdatasetsstoredinMongoDBusingMongoDBsframeworksandconnectors.Oncewedfamiliarizedourselveswithasizable ... [详细]

蜡笔小新 2021-09-09 22:25:36
hadoop
Hadoop HelloWord Examples- 求平均数

?另外一个hadoop的入门demo，求平均数。是对WordCount这个demo的一个小小的修改。输入一堆成绩单（人名，成绩），然后求每个人成绩平均数，比如：?subject1.txt?a90?b80?c70?subject2.txt?a100?b90?c80?求a,b,c这三个人的平均 ... [详细]

蜡笔小新 2021-09-09 22:23:48
go
Notes: Hadoop-based open source projects

文章系本人原创，转载请保持完整性并注明出自《四火的唠叨》HeresmynotesaboutintroductionandsomehintsforHadoop-basedopensourceprojects.Hopeitsusefultoyou.ManagementToolAmbari:Aweb-basedtoolforprovisioning,managing ... [详细]

蜡笔小新 2021-09-09 22:04:37
mapreduce
hive mapreduce script用法示例

周海汉文2013.3.27对于一些hql语句特殊处理，hive本身没有提供相应功能，可以有两种方式，一是mapreducescript，二是写UDF，UDAF，UDTF等。后者需要调用hive提供的api。前者则类似mapreduce的stream模式，只需正确处理输入输出即可。所以mapreduce脚本 ... [详细]

蜡笔小新 2021-09-09 22:02:30

Tags | 热门标签

RankList | 热门文章