hdfs 开发笔记-DevBox开发工具箱

最新开发笔记

cloudera
关于UnitedStack的开源

经常，我对外说，UnitedStack是一家开源公司，众人对此太多疑惑。开源？是做开源培训、服务吗？如果做产品，代码都开源了还如何赚钱？每次都得解释一遍，觉得有必要阐述一下我和UnitedStack眼中的开源。现在各公司的开源战略中有诸多玄机和差异，如果要研究 ... [详细]

蜡笔小新 2021-08-08 11:53:17
cloudera
将OpenStack部署到Hadoop的四种方案

【IT168技术】随着企业开始同时利用云计算和大数据技术，现在应当考虑如何将这些工具结合使用。在这种情况下，企业将实现最佳的分析处理能力，同时利用私有云的快速弹性(rapidelasticity)和单一租赁的特性。如何协同效用和实现部署，是本文希望解决的问题 ... [详细]

蜡笔小新 2021-08-08 11:42:06
cloudera
OpenStack私有云平台与Hadoop MapReduce环境的部署

随着企业开始同时利用云计算和大数据技术，现在应当考虑如何将这些工具结合使用。在这种情况下，企业将实现最佳的分析处理能力，同时利用私有云的快速弹性(rapidelasticity)和单一租赁的特性。本文将帮助您了解云计算和大数据技术的组成部分，了 ... [详细]

蜡笔小新 2021-08-08 11:15:28
cloudera
对象存储添加Hadoop、OpenStack插件

对象存储初创公司Scality将其存储添加到Hadoop，使用户可避免通过Hadoop自己的文件系统加载数据。他们还推出了一款针对Cinder??在OpenStack项目里面的块存储层的插件。RING是基于一组X86服务器节点的对象存储基础架构，存储对象而不是文件或块，而且可以 ... [详细]

蜡笔小新 2021-08-08 11:11:15
ambari
在OpenStack之上部署Hadoop

ApacheHadoop基本上已经成为MapReduce实现的产业标准，并且被各个机构广泛采用，而Savanna项目旨在让用户可以在OpenStack上运行和管理Hadoop集群。值得一提的是，Amazon通过EMR（ElasticMapReduce）提供Hadoop服务已达数年之久。用户需要给Savanna提供一些 ... [详细]

蜡笔小新 2021-08-08 11:10:48
hadoop
Hadoop分布式文件系统和对象存储的区别

最近在Quora上有人提到一个问题，有关Hadoop分布式文件系统和OpenStack对象存储的不同。问题原文如下：“HDFS（Hadoop分布式文件系统）和OpenStack对象存储（OpenStackObjectStorage）似乎都有着相似的目的：实现冗余、快速、联网的存储。什么样的技术特 ... [详细]

蜡笔小新 2021-08-08 11:10:06
cloudera
对象存储与Hadoop、OpenStack的整合

对象存储初创公司Scality将其存储添加到Hadoop，使用户可避免通过Hadoop自己的文件系统加载数据。他们还推出了一款针对Cinder——在OpenStack项目里面的块存储层的插件。RING是基于一组X86服务器节点的对象存储基础架构，存储对象而不是文件或块，而且可以 ... [详细]

蜡笔小新 2021-08-08 11:05:55
cloudera
如何将OpenStack私有云部署到Hadoop MapReduce环境中

这两种答案都有企业在实践。“Hadoop跑在OpenStack上”可以参考《ProjectSavanna：让Hadoop运行在OpenStack之上》，“OpenStack部署到Hadoop上”则重点可查阅本文。随着企业开始同时利用云计算和大数据技术，现在应当考虑如何将这些工具结合使用。在这种情 ... [详细]

蜡笔小新 2021-08-08 11:02:33
mysql
将记录从mysql导出到hdfs中

将记录从mysql导出到hdfs中01ConnectURLjdbc:mysql://localhost:3306/user_action0203UserNameroot0405PassWord1234560607OutputPath/hdfs/recommend/user_action/watch_record0809 ... [详细]

蜡笔小新 2021-08-06 07:16:03
sql
利用SQOOP将数据从数据库导入到HDFS

利用SQOOP将数据从数据库导入到HDFS基本使用如下面这个shell脚本：#Oracle的连接字符串，其中包含了Oracle的地址，SID，和端口号CONNECTURLjdbc:oracle:thin:@20.135.60.21:1521:DWRAC2#使用的用户名ORACLENAME ... [详细]

蜡笔小新 2021-08-06 01:40:19
服务器
Oracle数据导入与导出

一前言：oracle中提供了exp、imp命令来进行数据的备份与恢复，exp命令可以把数据从远程数据库服务器导出到本地的dmp文件，imp命令可以把dmp文件从本地导入到远处的数据库服务器中。利用这个功能可以构建两个 ... [详细]

蜡笔小新 2021-08-04 13:10:24
hadoop
hbase shell基础和常用命令详解

hbaseshell基础和常用命令详解HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文 ... [详细]

蜡笔小新 2021-08-04 04:46:55

Tags | 热门标签

RankList | 热门文章