我知道memcached是如何工作的.Hadoop如何工作？
Hadoop由许多组件组成,这些组件是Apache Hadoop项目的每个子项目.其中两个主要是Hadoop分布式文件系统(HDFS)和MapReduce框架.
我们的想法是,您可以将许多现成的计算机联网在一起以创建群集.HDFS在群集上运行.在向集群添加数据时,它会分成大块/块(通常为64MB)并分布在集群周围.HDFS允许复制数据以允许从硬件故障中恢复.它几乎可以预期硬件故障,因为它可以与标准硬件配合使用.HDFS基于Google有关其分布式文件系统GFS的文章.
Hadoop MapReduce框架运行存储在HDFS上的数据.MapReduce"工作"旨在以高度并行的方式提供基于键/值的处理能力.由于数据是通过集群分布的,因此MapReduce作业可以拆分为对存储在集群上的数据运行许多并行处理.MapReduce的Map部分仅运行在他们可以看到的数据上,即运行在其上的特定机器上的数据块.Reduce汇集了地图的输出.
结果是一个提供高度并行的批处理能力的系统.系统可以很好地扩展,因为您只需添加更多硬件来增加其存储容量或减少MapReduce作业运行所需的时间.
一些链接:
Word Count介绍Hadoop MapReduce
谷歌文件系统
MapReduce:大型集群上的简化数据处理
京公网安备 11010802040832号 | 京ICP备19059560号-6 