hdfs 开发笔记-DevBox开发工具箱

最新开发笔记

scala
浅谈DataFrame和SparkSql取值误区

今天小编就为大家分享一篇浅谈DataFrame和SparkSql取值误区，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧 ... [详细]

蜡笔小新 2021-10-20 23:24:14
python
用python标准库difflib比较两份文件的异同详解

今天小编就为大家分享一篇用python标准库difflib比较两份文件的异同详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧 ... [详细]

蜡笔小新 2021-10-20 23:23:24
php
hive mysql中没有表是为什么？

hivemysql中没有表是因为hive是用来将sql语句转化为mapreduce在hdfs中计算从而得到查询数据的工具，而mysql存储的是hive中自己定义的表，所以mysql看得见的表是hive本身存在的，但是在hive中却看不见。 ... [详细]

蜡笔小新 2021-09-12 01:48:03
python
让python在hadoop上跑起来

让python在hadoop上跑起来，python如何在hadoop上跑起来？感兴趣的小伙伴们可以参考一下 ... [详细]

蜡笔小新 2021-09-11 11:22:31
服务器
完全分布式安装HBase

HBase是一个基于Hadoop的分布式的、面向列的开源数据库，它以Google的BigTable为原型。高可用性、高性能、列存储、可伸缩、实时读写。完全分布式安装HBase是在完全分布式安装好Hadoop的基础上进行的。HBase的版本和Hadoop的版本需要匹配得上，尽量不要选 ... [详细]

蜡笔小新 2021-09-11 06:17:25
json
nosql数据库

介绍MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。主要解决的是海量数据的访问效率问题，为WEB应用提供可扩展的高性能数据存储解决方案。当数据量达到50GB以上的时候，MongoDB的数据库访问速度是MySQL的10倍以上。MongoDB的并发读写效率不是特 ... [详细]

蜡笔小新 2021-09-11 05:03:56
服务器
HBase分布式部署

前提hadoop集群搭建成功，这里使用的是Hadoop1.0.3+HBase0.94.1配置HBase1.修改confhbase-env.sh，添加jdk支持exportJAVA_HOMEhomehadoopjdk1.6.0_392.修改 ... [详细]

蜡笔小新 2021-09-11 04:17:09
zookeeper
HBase分布式安装

HBase分布式安装安装HBase之前需要先安装Hadoop，因为HBase是运行在Hadoop集群上的。安装Hadoop可以参照一、安装准备及环境说明运行在中的三台机器上hbase1作为master，hbase2、3作为regionserver。HBase的版本为0.94.11-security，下载地址二、安装操 ... [详细]

蜡笔小新 2021-09-11 03:40:00
zookeeper
HBase自带压力测试

今天使用hbase自带的压力测试，压了一下我们的hbase集群，集群配置：master8cpu*32G+3台8cpu*16G，参数配置，修改了zookeeper ... [详细]

蜡笔小新 2021-09-11 03:10:43
zookeeper
Flume-ng将数据插入HBase-0.96.0

该类实现的功能是将文件中的内容按行切分程两部分，分别插入列名为column1和column2的两列中，rowKey为当前时间。完成后将flume- ... [详细]

蜡笔小新 2021-09-11 03:03:32
apache
Hive 优化 tips

尽量将小表放在join的左边，我们使用的Hive-0.90,所以是自动转化的，既把小表自动装入内存，执行mapsidejoin(性能好),这是由参 ... [详细]

蜡笔小新 2021-09-11 02:44:33
facebook
Hive RCFile的高效存储结构

本文介绍了Facebook公司数据分析系统中的RCFile存储结构，该结构集行存储和列存储的优点于一身，在MapReduce环境下的大规模数据 ... [详细]

蜡笔小新 2021-09-11 02:37:57

Tags | 热门标签

RankList | 热门文章