《十小时入门大数据》学习笔记之HDFS

笔记目录

• 1. HDFS概述及设计目标
• 2. HDFS架构
• 3. HDFS副本机制
• 4. HDFS环境搭建
• 5. HDFS shell
• 6. Java API 操作HDFS
• 7. HDFS 文件读写流程
• 8. HDFS优缺点

1. HDFS概述及设计目标

1.1 什么是HDFS

• Hadoop 实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS；
• 源自于Google的GFS论文
• 发表于2003年，HDFS是GFS的克隆版

1.2 HDFS的设计目标

• 非常巨大的分布式文件系统
• 运行在普通廉价的硬件上
• 易扩展、为用户提供性能不错的文件存储服务
• 更多的请看官网....

2. HDFS架构

1个Master(NameNode/NN) 带N个Slaves(DataNode/DN)
一个文件会被拆分成多个Block，blocksize：128M，eg：130M的文件==>2 block(128M和2M)

• NN:
  1). 负责客户端的请求响应
  2).负责元数据(文件名称、副本系数、Block存放的DN)的管理
• DN:
  1). 存储用户的文件对应的数据块(Block)
  2). 要定期向NN发送信条信息，汇报本身及其所有的block信息，健康状况
  A typical deployment has a dedicated machine that runs only the NameNode software. Each of the other machines in the cluster runs one instance of the DataNode software. The architecture does not preclude running multiple DataNodes on the same machine but in a real deployment that is rarely the case.
• 建议：NN和DN部署在不同的节点上 图片.png

3. HDFS副本机制

Replication factor：副本因子/副本系数 ；处理文件的最后一个block，其他的block大小都相同。 图片.png

• HDFS副本存放策略(面试的一个考点)
  如下图，假设一个集群有两个机架，橙色的代表客户端，假设文件有3个副本，那么第一个副本存放在客户端所在的机器上，另外两个副本存放在与客户端不在同一个机架上的随机的两台机器上。分机架的好处是：保证容错性。

  
  图片.png

4. HDFS环境搭建

• 版本：Hdaoop-2.6.0-cdh5.7.0
• 官方文档：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/
• 下载地址：http://archive.cloudera.com/cdh5/cdh/5/
  具体的HDFS环境搭建参考另一篇笔记：在Ubuntu下安装和搭建Hadoop环境(伪分布式环境)

• 简单步骤：
  1). jdk安装
  • 解压: tar -zxvf jdk-8u181-linux-x64.tar.gz -C ~/app
  • 添加到系统环境变量： vim /etc/profile （或 vim ~/.bashrc ）

export JAVA_HOME=/home/hadoop/app/jdk1.8.0_181
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

• 使环境变量生效：source /etc/profile （或 source ~/.bashrc）
• 验证java是否配置成功：java -version
  2). 安装SSH
• Ubuntu :
  sudo apt-get install ssh
  sudo apt-get install rsync
• CentOS
  sudo yum install ssh
• 配置免密码登录

ssh-keygen -t rsa  #一路回车就行
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

• 验证是否免密码登录是否成功：

hadoop@Dell:~$ ssh localhost  # 接下来输入yes

3). 下载并解压Hadoop

• 下载：到cdh官网直接下载
• 解压：tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app
  4). Hadoop配置文件的修改(hadoop_home/etc/hadoop/)
• hadoop-env.sh

/home/hadoop/app/jdk1.8.0_181

• core-site.xml

<!-- hadoop1.X的端口是9000,2.X以后的是8020-->
 <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:8020</value>
  </property>
<!-- hadoop默认的存储地址是临时文件夹，在linux下临时文件夹每次重启都会被删除，所以需要添加一个临时文件 -->
 <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/app/tmp</value>
  </property>

• hdfs-site.xml

<!-- 由于是伪分步单节点。因此副本系数设置为1-->
 <property>
        <name>dfs.replication</name>
        <value>1</value> 
</property>

5). 启动hdfs

• 格式化文件系统（仅第一次执行，）：bin/hdfs namenode -format
• 启动 hdfs：sbin/start-dfs.sh
• 验证是否启动成功：
  jps ：多次三个进程：NameNode 、DataNode、SecondaryNameNode
  浏览器：http://localhost:50070
  6). 停止hdfs
  sbin/stop-dfs.sh
  至此，HDFS环境搭建完成！
  7). 把hadoop配置到环境变量中: vim ~/.bashrc
  为了方便后期使用hadoop，需要把hadoop配置到系统环境变量中，后期不管在哪个控制台目录下都可以直接使用hadoop shell命令。

export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存之后一定记得执行：source ~/.bashrc 使配置文件生效。

5. HDFS shell

• HDFS常用的shell命令
  ls mkdir put get mv cp ......
• shell 例子
  1). 把当前目录下的hello.txt文件上传到hdfs的根目录下中：hadoop fs -put hello.txt / 图片.png 2). 查看hdfs根目录下的文件：hadoop fs -ls /
  图片.png 3). 查看刚刚上传的hello.txt文件的内容：hadoop fs -text /hello.txt 或 hadoop fs -cat /hello.txt 图片.png 4). 创建文件夹：hadoop fs -mkdir /test 图片.png 5). 递归创建文件夹： hadoop fs -mkdir -p /test/a/b
  6). 递归展示文件：hadoop fs -ls -R /
  图片.png 7). 从hdfs上下载文件到本地：hadoop fs -get /hello.txt （也可以在浏览器中下载文件或查看文件的信息）
  8).如果在使用中遇到不会是用的，可以直接在控制台上敲：hadoop fs 然后回车，会出现提示信息 ......

6. Java API 操作HDFS

• 1） IDEA + Maven创建Java工程
  （注：IDEA和Maven的安装请看另外一篇笔记：Ubuntu 16.04安装IDEA和maven
  创建一个新项目（Maven项目），如下图，注意选上标红的选项，之后下一步。
  image.png 输入项目名称，然后点击下一步 image.png 选中标红的部分选择maven安装的路径（可不选，使用默认的） ，之后一直下一步到结束。 image.png 至此，Java项目创建完毕！
  image.png
• 2. 添加HDFS相关依赖
     在pom.xml中，安装下图进行添加hadoop的HDFS相关依赖

<!--  cdh版本的hadoop仓库-->
 <repositories>
    <repository>
      <id>cloudera</id>
      <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
  </repositories>

image.png

• 3. 开发Java API操作HDFS文件
     略

7. HDFS 文件读写流程(面试考点)

这里详见 其他简友的笔记： Hadoop学习笔记（三）漫画解读HDFS读写原理

8. HDFS优缺点

1）** 优点**

• 数据冗余、硬件容错
• 处理流式访问
• 适合存储大文件
• 可构建在廉价的机器上
  2）** 缺点**
• 低延迟的数据访问
• 不适合小文件存储（因为太多的小文件会浪费大量的NameNode的资源）