当前位置:  开发笔记 > 大数据 > 正文

HDFS fsck命令输出

如何解决《HDFSfsck命令输出》经验,为你挑选了1个好方法。

我在输出中得到了这个,所以我只想知道什么是BP,Blk?你能解释一下这个输出中每个东西的含义吗?我知道

 BP-929597290-192.0.0.2-1439573305237:blk_1074084574_344316 len=2 repl=3 [DatanodeInfoWithStorage[192.0.0.9:1000,DS-730a75d3-046c-4254-990a-4eee9520424f,DISK], DatanodeInfoWithStorage[192.0.0.1:1000,DS-fc6ee5c7-e76b-4faa-b663-58a60240de4c,DISK], DatanodeInfoWithStorage[192.0.0.3:1000,DS-8ab81b26-309e-42d6-ae14-26eb88387cad,DISK]]

我猜192.0.0.9:1000这是第一次复制数据的IP



1> Manjunath Ba..:

    BP-929597290-192.0.0.2-1439573305237

    这是Block Pool ID.块池是属于单个名称空间的一组块.为简单起见,您可以说名称节点管理的所有块都在同一个块池下.

    Block Pool形成如下:

    String bpid = "BP-" + rand + "-"+ ip + "-" + Time.now();        
    
    Where: 
    rand = Some random number
    ip = IP address of the Name Node
    Time.now() - Current system time
    

    在这里阅读Block Pools:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/Federation.html

    blk_1074084574_344316:

    块的块号.HDFS中的每个块都有一个唯一的标识符.

    块ID形成为:

    blk__ 
    
    Where: 
    blockid = ID of the block
    genstamp = an incrementing integer that records the version of a particular block
    

    在这里阅读关于代邮票:http://blog.cloudera.com/blog/2009/07/file-appends-in-hdfs/

    LEN = 2

    块长度:块中的字节数

    REPL = 3

    这个街区有3个副本

    DatanodeInfoWithStorage [192.0.0.9:1000,DS-730a75d3-046c-4254-990a-4eee9520424f,DISK

    哪里:

    192.0.0.9 => IP address of the Data Node holding this block
    1000 => Data streaming port
    DS-730a75d3-046c-4254-990a-4eee9520424f => Storage ID. It is an internal ID of the Data Node. It is assigned, when the Data Node registers with Name Node
    DISK => storageType. It is DISK here. Storage type can be: RAM_DISK, SSD, DISK and ARCHIVE
    

第5点的描述适用于剩余的2个块:

DatanodeInfoWithStorage[192.0.0.1:1000,DS-fc6ee5c7-e76b-4faa-b663-58a60240de4c,DISK], 
DatanodeInfoWithStorage[192.0.0.3:1000,DS-8ab81b26-309e-42d6-ae14-26eb88387cad,DISK]]

推荐阅读
夏晶阳--艺术
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有