hadoop - HDFS

你是无意穿堂风 偏偏孤倨引山洪

写在之前

首先我们用 Xshell 连接上云服务器：

ssh bigdata@47.94.18.202

Xshell5 连接云服务器

密码看群里

连接成功：

连接成功

连接成功后我们可以查看下java 和 hadoop信息：
（感谢老师帮我们配的环境）

查看java 和 hadoop信息

---

目录

1 在介绍HDFS之前要说的

2 为什么我们需要HDFS

3 HDFS的概念

4 HDFS关键运行机制

5 如何使用HDFS

---

1 介绍HDFS之前

背景

背景

Hadoop和HDFS的关系

关系1 关系2

---

2 为什么我们需要HDFS

1

分布化的文件系统会因为分布后的结构不完整，导致系统复杂度加大，并且引入的网络编程，同样导致分布式文件系统更加复杂。

问题

大数据不需要搬来搬去：

解决

DFS是用流处理方式处理文件，每个文件在系统里都能找到它的本地化映像，所以对于用户来说，别管文件是什么格式的，也不用在意被分到哪里，只管从DFS里取出就可以了。

DFS

一般来说，文件处理过程中无法保证文件安全顺利到达，传统文件系统是使用本地校验方式保证数据完整，这就引出了一个问题：DFS存储文件被散后，难道需要特意安排每个分片文件的校验码？

HDFS的回答是NO！
分片数量和大小是不确定的，海量的数据本来就需要海量的校验过程，分片后加入每个分片的跟踪校验完全是在数满天恒星的同时数了他们的行星。

HDFS解决方案是：分片冗余、本地校验
（把一个大文件打散 把文件存多份 其中一个损坏 可以用其他恢复）

解决方案

直观上看，我们是给文件系统添堵，文件越来越多
实际上，DFS更加喜欢这样的架构。

结构

数据冗余式存储，直接将多份分片文件交给分片后的存储服务器去校验。

校验

冗余后的分片文件还有个额外功能，只要冗余的分片文件中有一份是完整的，经过多次协同调整后，其他分片文件也将完整。

协同校验

分布后的文件系统有个无法回避的问题，因为文件不在一个磁盘导致读取访问操作的延时，这个是HDFS现在遇到的主要问题。

现阶段，HDFS的配置是按照高数据吞吐量优化的，可能会以高时间延时为代价的；同时，我们应该注意：按照DFS擅长的方式去使用数据（如：MapReduce）

---

3 HDFS的概念

通过上一节信息，我们了解了HDFS就是下面这个抽象图的具体实现：

1

元数据

元数据是用于描述要素、数据集或数据集系列的内容、覆盖范围、质量、管理方式、数据的所有者、数据的提供方式等有关的信息。通俗的讲，是描述数据的数据。

HDFS就是将巨大的数据变成大量数据和元数据

1

整个海量数据分为数据块并 标识后 存到磁盘中

块

磁盘存储文件时，是按照数据块来存储的，也就是说，数据块是磁盘的读/写最小单位。数据块也称磁盘块。

每个块作为一个独立的存储单元

构建于单个磁盘上的文件系统是通过块来管理文件系统，文件系统块的大小是扇区的整数倍。特别的，单个磁盘文件系统，小于扇区的文件会占用整个扇区。

1

与其他文件系统不一样，HDFS中每个小于块大小的文件不会占据整个块的空间。

来看一个很重要的问题：
为什么需要64MB或者更大的一个块？

2

如果每个要传输的块设置得足够大，那么从磁盘传输数据的时间可以明显大于定位这个块开始位置的时间。

3 4

这样的设定使存储一个文件主要时间就花在传输过程中，传输一个由多个Block组成的文件的时间就取决于磁盘传输速率，这是HSDF的核心技术。

HDFS提供给MapReduce数据服务，而一般来说MapReduce的Map任务通常一次处理一个块中的数据，如果任务数太少（少于集群中节点的数量），就没有发挥多节点的优势，甚至作业的运行速度就会和单节点一样。

分布式的文件抽象带来的优势是：

• 一个文件可以大于磁盘大小
• 一个文件不用全在一个磁盘上
• 简化了存储子系统的设计

其实，HDFS对与用户来说，可以直接看成是一个巨大的硬盘：

硬盘

所以，HDFS和文件系统相似，用fsck指令可以显示块信息。
hadoop fsck / -files -blocks

hadoop fsck / -files -blocks

---

常用命令

ls

hadoop fs -ls /user

1

hadoop fs -ls /user/hdfs/hk

1

hadoop fs -ls -R /user/hdfs/

1

mkdir

hadoop fs -mkdir /user/hdfs/hk/test

mkdir

copyFromLocal/put

hadoop fs -put test /user/hdfs/hk

hadoop fs -copyFromLocal test2 /user/hdfs/hk

QQ图片20170820205408.png

cat

hadoop fs -cat /user/hdfs/hk/xingbie

cat

tail

1 2

---

copyToLocal/get

hadoop fs -get /user/hdfs/hk/test

hadoop fs -copyToLocal /user/hdfs/hk/test

1 2

---

cp

cp

mv

1

du

使用方法：hadoop fs -du URI [URI …]
显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小

du

dus

使用方法：hadoop fs -dus <args>
显示文件的大小

dus

stat

使用方法：hadoop fs -stat URI [URI …]
返回指定路径的统计信息。
示例：
hadoop fs -stat path

stat

test

使用方法：hadoop fs -test -[ezd] URI
选项：
-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。
-d 如果路径是个目录，则返回1，否则返回0。
示例：
hadoop fs -test -e filename

---

touchz

使用方法：hadoop fs -touchz URI [URI …]
创建一个0字节的空文件。

touchz

其他 Hadoop Shell 命令参见：
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

---

做个小练习：

在自己本机上按自己名字创建一个文件夹

1

在文件夹里创建一个xingzuo的文件，存储你的星座

2 3 4

将xingzuo文件put到远端/user/hdfs/{yourname}

5

关键代码：

hadoop fs -put xingzuo /user/hdfs/hhkk/
hadoop fs -ls /user/hdfs/hhkk/
hadoop fs -cat /user/hdfs/hhkk/xingzuo

---

下午

hadoop fs -cat /user/hdfs/*/xingzuo

1

统计hadoop fs -cat /user/hdfs/*/xingzuo 输出有多少行：

hadoop fs -cat /user/hdfs/*/xingzuo | wc -l

2

排序：

hadoop fs -cat /user/hdfs/*/xingzuo | sort

3

排序+统计相同的个数：

hadoop fs -cat /user/hdfs/*/xingzuo | sort | uniq -c

4

加上数字标识统计后 反排序：

hadoop fs -cat /user/hdfs/*/xingzuo | sort | uniq -c | sort -r

5

---

同样练习下xingbie：

hadoop fs -cat /user/hdfs/*/xingbie | sort | uniq -c | sort

1 2

hadoop fs -cat /user/hdfs/*/xingbie | sort | uniq -c | sort -rn

3

---

hadoop fs -cat /user/hdfs/*/xingbie | awk '{print $1}'

1

统计男生的比例：

hadoop fs -cat /user/hdfs/*/xingbie|awk '{if($1=="nan") ++sum_nan; ++sum}END {print "nv: " sum_nan/sum}'

2

---

4 HDFS关键运行机制

HDFS是基于主从结构（master/slaver）构件

1

在HDFS的主从结构中，有两类节点 namenode和datanode。他们以管理者-工作者模式工作。

2

客户端（client）代表用户通过与namenode和datanode交互访问整个文件系统。可以是具体程序，也可以是应用。

3

客户端提供一个类似LINUX的文件系统接口
类似操作系统中的文件界面

所以，用户在编程时，无需知道namenode和datanode也可以实现功能

namenode很重要：

4

一般有解决方案二

HDFS结构示意图：

5 6

---

单点问题：

7

HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而实现不间断对外提供服务。Federation即为“联邦”，该特性允许一个HDFS集群中存在多个NameNode同时对外提供服务，这些NameNode分管一部分目录（水平切分），彼此之间相互隔离，但共享底层的DataNode存储资源。
在一个典型的HDFSHA场景中，通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，比如处理来自客户端的RPC请求，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
为了能够实时同步Active和Standby两个NameNode的元数据信息（实际上editlog），需提供一个共享存储系统，可以是NFS、QJM（Quorum Journal Manager）或者Bookeeper，Active Namenode将数据写入共享存储系统，而Standby监听该系统，一旦发现有新数据写入，则读取这些数据，并加载到自己内存中，以保证自己内存状态与Active NameNode保持基本一致，如此这般，在紧急情况下standby便可快速切为active namenode。

---

5 如何使用HDFS

HDFS是在安装hadoop-X.X.X.tar.gz配置后，启动即可使用。

无论是使用shell脚本，或者使用WEB UI进行操作，使用前必须得明白HDFS的配置。便于存储操作或者操作优化。

1 2

世界上所有的追求都是因为热爱
一枚爱编码 爱生活 爱分享的IT信徒
— hongXkeX