HDFS Short-Circuit Local Reads

作者: xncode | 来源:发表于2017-09-30 16:54 被阅读0次

HDFS Short-Circuit Local Reads
003 Impala | 安装前性能配置
HDFS 开启 SCR 对 Hbase 的性能提升
NiFi 实战
hive中数据的几种加载方式
高可用hadoop集群
HDFS常用命令（方便大家记忆版）
lazy ideas in programming(编程中的惰性
HADOOP配置HA（新版）
HDFS短路本地读取(Short Circuit Local R

在HDFS中数据读取是要通过datanode的，所以当客户端要求datanode读取时，datanode读取该文件并通过tcp传输到客户端，“short-circuit” 可以绕过datanode而使得客户端直接读取文件。

使用的时unix套接字/var/run or /var/lib，通过共享内存/dev/shm来交互信息。

<configuration>
  <property>
    <name>dfs.client.read.shortcircuit</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.domain.socket.path</name>
    <value>/var/lib/hadoop-hdfs/dn_socket</value>
  </property>
</configuration>

网友评论

本文标题：HDFS Short-Circuit Local Reads

本文链接：https://www.haomeiwen.com/subject/rgkbsxtx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

HDFS Short-Circuit Local Reads

相关文章

HDFS Short-Circuit Local Reads

003 Impala | 安装前性能配置

HDFS 开启 SCR 对 Hbase 的性能提升

NiFi 实战

hive中数据的几种加载方式

高可用hadoop集群

HDFS常用命令（方便大家记忆版）

lazy ideas in programming(编程中的惰性

HADOOP配置HA（新版）

HDFS短路本地读取(Short Circuit Local R

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读