hdfs 开发笔记-DevBox开发工具箱

最新开发笔记

apache
hadoop安全模式

hadoop安全模式在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检资讯& ... [详细]

蜡笔小新 2021-08-11 23:02:01
html
在Ubuntu10.10中安装HIVE

一路配置下来没发现什么问题，然后就是利用HIVE跑SQL，执行和第一个Map/Reduce相符的程序了。1.创建表1createtablepackCount(userinfoSTRING,udidSTRING,ipSTRING,netSTRING,nothSTRING ... [详细]

蜡笔小新 2021-08-11 22:37:28
mongodb
MongoDB和hbase和对比

1.Mongodbbson文档型数据库，整个数据都存在磁盘中，hbase是列式数据库，集群部署时每个familycolumn保存在单独的hdfs文件中。2.Mongodb主键是“_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样，hbase的主键就是rowkey，可以是任意字符串(最大 ... [详细]

蜡笔小新 2021-08-10 18:41:16
ruby
10个优秀的nosql数据库介绍

摘要：随着大数据的不断发展，非关系型的数据库现在成了一个极其热门的新领域，非关系数据库产品的发展非常迅速。现今的计算机体系结构在数据存储方面要有庞大的水平扩展性，而NoSQL也正是致力于改变这一现状。目前Google的BigTable和Amazon的Dynamo使用的 ... [详细]

蜡笔小新 2021-08-10 18:34:40
linux
ibm platform computing打造大数据方案

IBM技术计算解决方案范围从部门集群延伸到超级计算机，使企业能够通过为广泛的商务和业务挑战提供高性能基础架构来实现更好的成果。技术计算与高性能计算的紧密相关，它把高性能计算机系统使用到其它的行业中，PlatformComputing担负了这个职责，PlatformCo ... [详细]

蜡笔小新 2021-08-10 18:25:54
linux
使用 Apache Hadoop 处理日志

日志形态千差万别，但随着应用程序和基础架构的发展，结果产生了大量对用户有用的分布式数据。从Web和邮件服务器到内核和引导日志，许多现代的服务器拥有丰富的信息集。大量的分布式数据是ApacheHadoop的完美应用，就像日志文件（按时间排序的结构化文本 ... [详细]

蜡笔小新 2021-08-10 06:29:16
linux
FastDFS、Nginx配置过程笔记

第一部分FastDFS介?1.FastDFS是什?FastDFS是一款?GoogleFS的?源分布式文件系?，它用?C?言???，支持Linux、FreeBSD、AIX等UNIX系?。它只能通??Ｓ?PI?ξ募?M行存取???，不支持POSIX接口方式，不能mount使用。准?地?，GoogleFS以及FastDFS、 ... [详细]

蜡笔小新 2021-08-10 00:08:44
cloudera
安装及配置Hadoop CDH4.0高可用集群

一.CDH4安装在官网https://ccp.cloudera.com/display/CDH4DOC/CDH4+Installation下载针对本机操作系统的CDH4引导包,这里我的操作系统是redhat5.4Step1a:OptionallyAddaRepositoryKeyrpm--importhttp://ar ... [详细]

蜡笔小新 2021-08-09 13:42:40
ssh
hadoop多节点集群安装配置详细过程

topo节点：192.168.10.46Hadoop46192.168.10.47Hadoop47192.168.10.48Hadoop48Hadoop的守护进程deamons：NameNode/DataNode和JobTracker/TaskTracker。其中NameNode/DataNode工作在HDFS层，Jo ... [详细]

蜡笔小新 2021-08-09 04:44:38
linux
安装配置基于XenServer的Hadoop分布式计算平台

一、XenServer安装1.搭建完全的Hadoop分布式计算平台，至少需要2～3台机器，这需要了解Hadoop的组成，从HDFS的角度包括NameNode（NN）和DataNode（DN），从Map/Reduce的角度包括JobTracker（JT）和TaskTracker（TT），其中NN和JT所在的主机称为Mas ... [详细]

蜡笔小新 2021-08-09 00:03:28
linux
在VMware虚拟机中安装配置hadoop集群图文教程

原创文档，转载请保留原文url地址hadoop俗称分布式计算，最早作为一个开源项目，最初只是来源于谷歌的两份白皮书。然而正如十年前的Linux一样，虽然Hadoop最初十分简单，但随着近些年来大数据的兴起，其也获得了一个充分体现价值的舞台。这也正是业内普遍将 ... [详细]

蜡笔小新 2021-08-08 21:28:39
linux
安装、创建Xen虚拟机时经常遇到的错误和解决办法

目录(1)启动Xend时出现错误ImportError:/usr/lib/python/xen/lowlevel/acm.so:undefinedsymbol:Py_InitModule4(2)使用virt-install创建Xen虚拟机时出现错误：ERRORvirDomainCreateLinux()failedXM ... [详细]

蜡笔小新 2021-08-08 19:48:21

Tags | 热门标签

RankList | 热门文章