HDFS分布式读取没有Map/Reduce

是否可以在一台计算机上使用HDFS客户端从HDSF集群实现分布式读取？

我用一个由3个数据节点(DN1,DN2,DN3)组成的集群进行了实验.然后我从位于DN1的客户端程序中的10个独立文件中同时读取10个,并且它似乎只是从DN1读取数据.其他数据节点(DN2,DN3)显示零活动(从调试日志判断).

我已检查所有文件的块是否在所有3个数据节点上复制,因此如果我关闭DN1,则从DN2读取数据(仅限DN2).

增加读取的数据量没有帮助(尝试从2GB到30GB).

由于我需要读取多个大文件并从中提取少量数据(少量Kb),我想避免使用map/reduce,因为它需要设置更多服务并且还需要编写每个分割的输出任务回到HDFS.相反,将结果从数据节点直接返回到我的客户端程序会很好.

我用SequenceFile这种方式读取/写入数据(jdk7):

//Run in thread pool on multiple files simultaneously

List result = new ArrayList<>();
LongWritable key = new LongWritable();
Text value = new Text();
try(SequenceFile.Reader reader = new SequenceFile.Reader(conf,
                                     SequenceFile.Reader.file(filePath)){
  reader.next(key);
  if(key.get() == ID_I_AM_LOOKING_FOR){
    reader.getCurrentValue(value);
    result.add(value.toString());
  }
}

return result; //results from multiple workers are merged later

  LocatedBlocks getBlockLocations(...) {
    LocatedBlocks blocks = getBlockLocations(src, offset, length, true, true);
    if (blocks != null) {
      //sort the blocks
      DatanodeDescriptor client = host2DataNodeMap.getDatanodeByHost(
          clientMachine);
      for (LocatedBlock b : blocks.getLocatedBlocks()) {
        clusterMap.pseudoSortByDistance(client, b.getLocations());

        // Move decommissioned datanodes to the bottom
        Arrays.sort(b.getLocations(), DFSUtil.DECOM_COMPARATOR);
      }
    }
    return blocks;
  }