hdfs 开发笔记-DevBox开发工具箱

最新开发笔记

hadoop
HBase0.9x问题总结

1.最近hbase的rgion经常挂掉一个，查看该节点日志发现如下错误：2014-02-2201:52:02,194ERRORorg.apache.Hadoop.hbase.regio ... [详细]

蜡笔小新 2021-08-26 13:48:19
ssh
HBase分布式安装

HBase分布式安装安装HBase之前需要先安装Hadoop，因为HBase是运行在Hadoop集群上的。安装Hadoop可以参照一、安装准备及环境说明运行在中的三台机器上hbase1作为master，hbase2、3作为regionserver。HBase的版本为0.94.11-security，下载地址二、安装操 ... [详细]

蜡笔小新 2021-08-26 13:21:26
windows
Mysql-sqoop-HDFS 数据交换实验

感谢@吴飚飚哥的细心指导，向飚哥精益求精的精神学习SQOOP：Apache基金会下一个开源产品，Hadoop家族的一个产品，关系型数据库与HDFS文件系统之间进行数据交换， ... [详细]

蜡笔小新 2021-08-26 12:49:06
服务器
HBase分布式部署

前提hadoop集群搭建成功，这里使用的是Hadoop1.0.3+HBase0.94.1配置HBase1.修改confhbase-env.sh，添加jdk支持exportJAVA_HOMEhomehadoopjdk1.6.0_392.修改 ... [详细]

蜡笔小新 2021-08-26 12:45:28
windows
nosql数据库

介绍MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。主要解决的是海量数据的访问效率问题，为WEB应用提供可扩展的高性能数据存储解决方案。当数据量达到50GB以上的时候，MongoDB的数据库访问速度是MySQL的10倍以上。MongoDB的并发读写效率不是特 ... [详细]

蜡笔小新 2021-08-26 12:06:31
服务器
完全分布式安装HBase-mysql教程

HBase是一个基于Hadoop的分布式的、面向列的开源数据库，它以Google的BigTable为原型。高可用性、高性能、列存储、可伸缩、实时读写。完全分布式安装HBase是在完全分布式安装好Hadoop的基础上进行的。HBase的版本和Hadoop的版本需要匹配得上，尽量不要选 ... [详细]

蜡笔小新 2021-08-26 11:09:07
sqoop
微软PolyBase打响SQL Server和Hadoop整合第一枪

我们一直强调，大数据和传统的关系数据库并不对立，未来公司的的业务将会是大数据和关系型数据库的整合。微软的PolyBase打响了SQLServer和Hadoop整合的第一枪。在2012年度的SQLServer（PASS）峰会（SQLServer专业人士的技术会议）上，微软公布了代码名为 ... [详细]

蜡笔小新 2021-08-26 11:03:24
https
html5解决大文件断点续传/上传的方法

一般常用的web服务器都有对向服务器端提交数据有大小限制。超过一定大小文件服务器端将返回拒绝信息。本文章向码农介绍html5解决大文件断点续传上传的方法，感兴趣的码农可以参考一下。 ... [详细]

蜡笔小新 2021-08-26 00:20:26
https
Html5大文件断点续传实现方法_html5教程技巧

这篇文章主要介绍了Html5大文件断点续传实现方法,需要的朋友可以参考下 ... [详细]

蜡笔小新 2021-08-15 20:45:18
算法
谈谈大型分布式网站架构技术总结

　本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考 ... [详细]

蜡笔小新 2021-08-15 06:11:30
windows
谈谈：大型网站图片服务器架构的演进

基于FastDFS的独立图片服务器集群架构，虽然已经非常的成熟，但是由于国内“南北互联”和IDC带宽成本等问题（图片是非常消耗流量的），我们最终还是选择了商用的CDN技术 ... [详细]

蜡笔小新 2021-08-15 05:34:09
hive
Hive的UDF实现详解

Hive自身查询语言HQL能完成大部分的功能，但遇到特殊需求时，需要自己写UDF实现。以下是一个完整的案例。1、eclipse中编写UDF①项目中加入hive的lib下的所有jar包和Hadoop中share下hadoop-common-2.5.1.jar（Hadoop目前最新版本2.5.1）。②UDF类要继承org. ... [详细]

蜡笔小新 2021-08-15 03:47:55

Tags | 热门标签

RankList | 热门文章