【HDFS】pread的实现（从文件的指定位置开始读）

一、前置以及扩展知识

1.1 HDFS Hedged Read

Hedged Read是在Hadoop 2.4.0之后引入的一个功能。一般地，每个读请求都会由生成的一个线程去处理，在开启Hedged Read功能后，客户端可以等待一个预配置的时间，如果超过这个时间后，read还没有返回，那么客户端会生成第二个读请求，访问同一份数据的另一个block replica，如果其中任意一个read 先返回的话，则另一个read请求被丢弃。

Hedged Reads使用的场景是：解决小概率的slow read（可能由瞬时错误导致，例如磁盘错误或是网络抖动等）。

与客户端Hedged Read相关的两个参数：

dfs.client.hedged.read.threadpool.size：默认值为0：指定有多少线程用于服务hedged reads。如果此值设置为0（默认），则hedged reads为disabled状态。

dfs.client.hedged.read.threshold.millis：默认为500（0.5秒）：在启动第二个线程前需要等待的时间。

二、pread源码解析

HDFS的read方法可以支持从文件指定的位置开始读数据，这需要在内部借助于pread方法。如下图所示，可以看到这个read方法内部调用了pread方法。

position参数表示从文件的这个位置开始读数据。将read方法传入的buffer, offset, length封装成ByteBuffer对象，然后连同position传到pread方法里。

如果想快速了解pread的整体逻辑，可以跳到文章末尾，直接看最后一小节的总结内容。如果对内部的函数实现有兴趣，可以再跳回来看源码解析。