我了解其背后的一般概念,但我想进一步澄清和明确定义“客户”是什么。
例如,如果我只是在终端上编写hdfs命令,它仍然是“客户端”吗?
Client
Hadoop中的“中”是指用于与Hadoop文件系统通信的接口。Hadoop可以使用不同类型的客户端来执行不同的任务。
基本文件系统客户端hdfs dfs
用于连接到Hadoop文件系统并执行与文件相关的基本任务。它使用ClientProtocol与NameNode守护程序进行通信,并直接连接到DataNode以读取/写入块数据。要在HDFS上执行管理任务,有hdfs dfsadmin
。对于与HA相关的任务,hdfs haadmin
。有类似的客户端可用于执行与YARN相关的任务。
可以使用它们各自的CLI命令从安装Hadoop的节点调用这些客户端,这些节点具有连接到Hadoop Filesystem所需的必要配置和库。此类节点通常称为Hadoop客户端。
例如,如果我只是在终端上编写hdfs命令,它仍然是“客户端”吗?
从技术上讲,是。如果您能够使用该hdfs
命令访问FS ,则该节点具有成为Hadoop客户端所需的配置和库。
PS: API也可用于以编程方式创建这些客户端。