网络拓扑-节点距离计算
在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢？
节点距离：两个节点到达最近的共同祖先的距离总和。
image.png
例如，假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记，这里给出四种距离描述，如上图所示。
大家算一算每两个节点之间的距离，如下图所示。
image.png
在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢？
节点距离：两个节点到达最近的共同祖先的距离总和。
image.png
例如，假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记，这里给出四种距离描述，如上图所示。
大家算一算每两个节点之间的距离，如下图所示。
image.png
网络拓扑-节点距离计算 在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接...
导读 物理拓扑图 逻辑拓扑图 部署方案 OpenStack的约束 物理拓扑图 两个计算节点，一个网络节点的Open...
Hadoop架构Hadoop由两个主要组件组成：HDFS、YARNmaster节点为worker节点提供协调服务，...
hadoop的hdfs和yarn都是有群起脚本的，但是有的时候，由于网络或者其他的问题，导致个别节点上面的hdfs...
集群网络规划 高可用节点配置 1.配置hdfs-site.xml文件目录/usr/local/hadoop/etc...
Hadoop实际是一种以数据为驱动的计算模型，结合MapReduce和HDFS，将任务运行在数据存放的计算节点上，...
1. Hadoop 的公共组件common 2. 分布式文件系统 HDFS 3. HDFS 拓扑结构 4. HDF...
一、Hadoop文件系统HDFS 构建单节点的伪分布式HDFS 构建4个节点的HDFS分布式系统 nameNode...
HDFS 作为hadoop 生态的一部分，部署HDFS即需要部署Hadoop。 这里由于节点数量有限，所以我们选择...
搭建OpenStack的架构拓扑 控制控制节点运行身份服务，镜像服务，计算的管理部分，网络的管理部分，各种网络代理...
本文标题：hadoop hdfs 网络拓扑-节点距离计算
本文链接：https://www.haomeiwen.com/subject/rbwalktx.html
网友评论