hdfs 开发笔记-DevBox开发工具箱

最新开发笔记

sqoop
使用Sqoop在HDFS和RDBMS之间导数据

SQOOP是一款开源的工具，主要用于在HADOOP与传统的数据库间进行数据的传递，下面从SQOOP用户手册上摘录一段描述 ... [详细]

蜡笔小新 2021-09-10 20:13:01
hive
Hadoop数据迁入到Hive

由于很多数据在hadoop平台，当从hadoop平台的数据迁移到hive目录下时，由于hive默认的分隔符是,为了平滑迁移，需要在创建表格时 ... [详细]

蜡笔小新 2021-09-10 19:54:49
linux
CentOS 5.6下利用Sqoop将hive数据导入导出数据到MySQL

运行环境CentOS5.6hadoophivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出 ... [详细]

蜡笔小新 2021-09-10 19:53:02
sqoop
Sqoop配置安装

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等） ... [详细]

蜡笔小新 2021-09-10 19:52:47
服务器
html5解决大文件断点续传/上传的方法

一般常用的web服务器都有对向服务器端提交数据有大小限制。超过一定大小文件服务器端将返回拒绝信息。本文章向码农介绍html5解决大文件断点续传上传的方法，感兴趣的码农可以参考一下。 ... [详细]

蜡笔小新 2021-09-10 15:49:38
服务器
Html5大文件断点续传实现方法_html5教程技巧-

这篇文章主要介绍了Html5大文件断点续传实现方法,需要的朋友可以参考下 ... [详细]

蜡笔小新 2021-09-10 14:48:08
sql
Hive与Oracle表关联语句对比

在将ORACLE存储过程迁移到HIVE平台时，不可避免地会遇到表关联的相应语法问题。本文详细对比了ORALCE和HIVE的各种表关联语法，包 ... [详细]

蜡笔小新 2021-09-10 00:51:21
sqoop
基于 Hive 的文件格式：RCFile 简介及其应用

RCFile是Hive推出的一种专门面向列的数据格式。它遵循ldquo;先按列划分，再垂直划分rdquo;的设计理念。当查询过程中，针对它并 ... [详细]

蜡笔小新 2021-09-10 00:46:29
sqoop
Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入 Hive0.13.1 ，并更新Hive中的主表

将Oracle中的业务基础表增量数据导入Hive中，与当前的全量表合并为最新的全量表。通过Sqoop将Oracle中表的导入Hive，模拟全量表和 ... [详细]

蜡笔小新 2021-09-10 00:05:47
hdfs
hdfs httpfs与webhdfs的简单使用

HttpFS和WebHDFS通过http协议操作hdfs有两个组件，httpfs和webhdfs，我一开始还以为这两个是同一个东西，其实不是。webhdfs是namenode、datanode自带的，httpfs是完全独立的一个组件。webhdfs上传文件等操作需要通过某个datanode进行，而不是直接通过namen ... [详细]

蜡笔小新 2021-09-09 23:41:13
apache
YARN ResourceManager HA配置的图文代码详解

YARN中的资源管理器（ResourceManager）负责整个系统的资源管理和调度，并内部维护了各个应用程序的ApplictionMaster信息，NodeManager信息，资源使用信息等。在2.4版本之后，HadoopCommon同样提供了HA的功能，解决了这样一个基础服务的可靠性和容错性问题 ... [详细]

蜡笔小新 2021-09-09 23:27:13
apache
Spark Note – Introduction to Streaming

SparkStreaming基于Spark处理流式数据的框架，在MapReduce中，由于其分布式特性——所有数据需要读写磁盘、启动job耗时较大，难以满足时效性要求。而Streaming能够在Spark上生根发芽的原因是因为其内存特性、低延时的执行引擎和高速的执行效率。Streaming ... [详细]

蜡笔小新 2021-09-09 23:18:01

Tags | 热门标签

RankList | 热门文章