Hive优化之自动合并输出的小文件

1.先在hive-site.xml中设置小文件的标准. lt;propertygt; lt;namegt;hive.merge.smallfiles.avgsizelt;/namegt; lt;va

首页 → 数据库技术

背景：

Hive优化之自动合并输出的小文件

[日期：2015-06-04] 来源：Linux社区 作者：houzhizhen [字体：]

1.先在hive-site.xml中设置小文件的标准.

hive.merge.smallfiles.avgsize
536870912
When the average output file size of a job is less than this number, Hive will start an additional map-reduce job to merge the output files into bigger files. This is only done for map-only jobs if hive.merge.mapfiles is true, and for map-reduce jobs if hive.merge.mapredfiles is true.

2.为只有map的mapreduce的输出并合并小文件.

hive.merge.mapfiles
true
Merge small files at the end of a map-only job

3.为含有reduce的mapreduce的输出并合并小文件.

hive.merge.mapredfiles
true
Merge small files at the end of a map-reduce job

Hive编程指南 PDF 中文高清版

基于Hadoop集群的Hive安装

Hive内表和外表的区别

Hadoop + Hive + Map +reduce 集群安装部署

Hive本地独立模式安装

Hive学习之WordCount单词统计

Hive运行架构及配置部署

Hive 的详细介绍：请点这里
Hive 的下载地址：请点这里

本文永久更新链接地址：

Oracle 11gR2 使用RMAN Duplicate复制数据库

ASM DISK Group加载ORA-15183错误一例

相关资讯 Hive优化 Hive合并小文件

图片资讯

本文评论 　　查看全部评论 (0)

评论声明

最新资讯

本周热门

Linux公社简介 - 广告服务 - 网站地图 - 帮助信息 - 联系我们
本站（LinuxIDC）所刊载文章不代表同意其说法或描述，，仅为提供更多信息，也不构成任何建议。


Copyright © 2006-2015　Linux公社　All rights reserved 沪ICP备15008072号-1号