美文网首页
HDFS Short-Circuit Local Reads

HDFS Short-Circuit Local Reads

作者: xncode | 来源:发表于2017-09-30 16:54 被阅读0次

    在HDFS中数据读取是要通过datanode的,所以当客户端要求datanode读取时,datanode读取该文件并通过tcp传输到客户端,“short-circuit” 可以绕过datanode而使得客户端直接读取文件。

    使用的时unix套接字/var/run or /var/lib,通过共享内存/dev/shm来交互信息。

    <configuration>
      <property>
        <name>dfs.client.read.shortcircuit</name>
        <value>true</value>
      </property>
      <property>
        <name>dfs.domain.socket.path</name>
        <value>/var/lib/hadoop-hdfs/dn_socket</value>
      </property>
    </configuration>
    

    相关文章

      网友评论

          本文标题:HDFS Short-Circuit Local Reads

          本文链接:https://www.haomeiwen.com/subject/rgkbsxtx.html