最新开发笔记
  • ThinkinginBigDate(九)大数据hadoop集群下离线数据存储和挖掘-mysql教程
    前序:2月23日,在中关村,海淀黄庄丹棱街SOHO大厦好未来会议室,hadoop专家吴超大侠,分享使用hadoop进行论坛日志分析。在回来的第二天,赶上了这次草根面对面交流。说是草根,像我这样的是草根,其余的都是大侠。在这一次交流中,主要是针对初级想了解had ... [详细]
    蜡笔小新   2021-08-27 06:45:32
  • 一直以来都想接触Storm实时计算这块的东西,最近在群里看到上海一哥们罗宝写的FlumeKafkaStorm的实时日志流系统的搭建文档,自己也跟着整了一遍,之前罗宝的文章中有一些要注意点没提到的,以后一些写错的点,在这边我会做修正;内容应该说绝大部分引用罗宝 ... [详细]
    蜡笔小新   2021-08-27 06:08:10
  • 1.先在hive-site.xml中设置小文件的标准.lt;propertygt;lt;namegt;hive.merge.smallfiles.avgsizelt;namegt;lt;va ... [详细]
    蜡笔小新   2021-08-27 03:48:29
  • 1.vertica概念面向数据分析的数据仓库系统解决方案2.vertica关键特性?标准的SQL接口:可以利用已有的BI、ETL、HadoopMapReduce和OLTP环境?高可用:内置的冗余也提升了查询速度?自动化数据库设计:数据库自动安装、优化、管理?高级压缩:十多种压 ... [详细]
    蜡笔小新   2021-08-27 03:29:32
  • MongoDB:Map-Reduce-mysql教程
    Map-reduce是一个考虑大型数据得到有用聚集结果的数据处理程式(paradigm).针对map-reduce操作,MongoDB提供来mapreduce命令.考虑下面的map-reduce操作:JavaScript函数在MongoDB,map-reduce操作使用自定义的函数去map,或者进行键和的关联。如果一 ... [详细]
    蜡笔小新   2021-08-27 03:13:21
  • 工作需要,要开始搞hadoop了,又是大数据,自己感觉大数据、云,只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织,Java如果没有它也不会现在如火中天。言归正传:首先需要下载Apachehadoop2.4.0的tar.gz包,到本地解压缩到 ... [详细]
    蜡笔小新   2021-08-27 02:26:23
  • NikitaIvanov谈GridGain的Hadoop内存片内加速技术-mysql教程
    GridGain最近在2014年的Spark峰会上发布了Hadoop内存片内加速技术,可以为Hadoop应用带来内存片内计算的相关收益。该技术包括两个单元:和HadoopHDFS兼容的内存片内文件系统,以及为内存片内处理而优化的MapReduce实现。这两个单元对基于磁盘的HDFS和传统 ... [详细]
    蜡笔小新   2021-08-27 02:25:25
  • 浅析MongoDB数据库的海量数据存储应用
    当今已进入大数据时代,特别是大规模互联网web2.0应用不断发展及云计算所需要的海量存储和海量计算发展,传统的关系型数据库已无 ... [详细]
    蜡笔小新   2021-08-27 01:49:15
  • 作者JonathanAllen,译者张晓鹏Hunk是Splunk公司一款比较新的产品,用来对Hadoop和其它NoSQL数据存储进行探测和可视化,它的新版本将会支持亚马逊的ElasticMapReduce。结合Hadoop使用HunkHadoop由两个单元组成,首先是被称为HDFS的存储单元,HDFS可 ... [详细]
    蜡笔小新   2021-08-27 01:36:16
  • mapreduce操作HBase-mysql教程
    我的废话:本文提供代码示例,但是不讲述mapreduce对HBase代码层面的细节,主要讲述我片面的理解和体会。最近看见Medialets(Ref)在网站架构中提到对MapReduce使用的经验分享,采用HDFS作为MapReduce分布式计算的基础环境,基于Python的MapReduce框架计算具 ... [详细]
    蜡笔小新   2021-08-26 23:54:22
  • 周海汉文2013.3.27对于一些hql语句特殊处理,hive本身没有提供相应功能,可以有两种方式,一是mapreducescript,二是写UDF,UDAF,UDTF等。后者需要调用hive提供的api。前者则类似mapreduce的stream模式,只需正确处理输入输出即可。所以mapreduce脚本 ... [详细]
    蜡笔小新   2021-08-26 23:34:33
  • Hadoop HelloWord Examples- 求平均数
    ?另外一个hadoop的入门demo,求平均数。是对WordCount这个demo的一个小小的修改。输入一堆成绩单(人名,成绩),然后求每个人成绩平均数,比如:?subject1.txt?a90?b80?c70?subject2.txt?a100?b90?c80?求a,b,c这三个人的平均 ... [详细]
    蜡笔小新   2021-08-26 23:18:36
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有