在之前的几个章节，我们已经掌握了如何将数据从其他系统导入Hadoop。一旦企业使用Hadoop执行某些关键功能，无论是数据挖掘还是数据聚合，下一步通常是将该数据外部化到其他系统。例如，通常依靠Hadoop对从实时系统中提取的数据执行离线聚合，然后将派生数据反馈到实时系统中。
本节将介绍一些希望从Hadoop获取数据的常见方案，以及可帮助完成这项工作的工具。我们首先看一下现有的低级工具，其中大多数工具都内置在Hadoop中，然后继续研究如何将数据推送到关系数据库和HBase。
首先，我们将介绍如何使用命令行从Hadoop中复制文件。
在这里我还是要推荐下我自己建的大数据学习交流qq裙：458345782， 裙 里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴。
5.3.1 Roll your own egress
本节介绍Hadoop中用于从HDFS复制数据的一些内置机制。这些技术可以手动执行，也可以使用Azkaban，Oozie甚至cron等调度系统自动执行。
实践：使用CLI提取文件
想象一下，你在Hadoop中运行一些工作来聚合数据，现在想要把它拿出来，可以使用的一种方法是HDFS命令行界面(CLI)，用于将目录和文件提取到本地文件系统。此技术涵盖了一些可以帮助你的基本CLI命令。
问题
希望使用shell将文件从HDFS复制到本地文件系统。
解决方案
HDFS CLI可用于一次性移动，或者相同的命令可以合并到脚本中，以便更频繁地使用移动。
讨论
通过hadoop命令可以将文件从HDFS复制到本地磁盘：
$ hadoop fs -get hdfs-file.txt local-file.txt
Hadoop put命令的行为与Linux中的Linux cp命令不同，如果目标已存在，则被覆盖; 在Hadoop中，副本失败并显示错误：
put: `hdfs-file.txt': File exists
必须添加-f选项以强制覆盖文件：
$ hadoop fs -get -f hdfs-file.txt local-file.txt
与Linux cp命令相似，可以使用相同的命令复制多个文件。在这种情况下，最后一个参数必须是HDFS文件复制到本地文件系统的目录：
$ hadoop fs -get hdfs-file1.txt hdfs-file2.txt /local/dest/
通常，一个是将大量文件从HDFS复制到本地磁盘——例如，MapReduce作业输出目录包含每个任务的文件。如果使用的是可以连接的文件格式，则可以使用-getmerge命令组合多个文件。默认情况下，在连接期间，在每个文件的末尾添加换行符：
$ hdfs fs -getmerge hdfs-dir/part* /local/output.txt
fs命令支持更多操作——查看完整列表，运行命令时没有任何选项。
使用CLI的挑战在于它非常低级，并且无法满足自动化需求。当然，我们可以在shell脚本中使用CLI，但是一旦升级到更复杂的编程语言，为每个HDFS命令分配进程并不理想。在这种情况下，可能希望查看使用REST，Java或C HDFS API。下一个技术着眼于REST API。
实践：使用REST提取文件
使用CLI对于快速运行命令和编写脚本非常方便，但是会产生为每个命令分配单独进程的开销，这可能是希望避免的，特别是如果在编程中与HDFS连接。该技术涵盖了使用Java以外的语言处理HDFS。
问题
如何让没有HDFS本机接口的编程语言与HDFS进行交互。
解决方案
使用Hadoop的WebHDFS接口，该接口为HDFS操作提供全功能的REST API。
讨论
在开始之前，需要在集群上启用WebHDFS
让我们首先使用CLI在HDFS中创建一个文件：
$echo "the cat sat on the mat" | hadoop fs -put - /tmp/hdfs-file.txt
从HDFS读取文件是指定OPEN为operation：
实践：在防火墙下实现HDFS读取
生产Hadoop环境通常被锁定以保护驻留在这些集群中的数据。部分安全过程可能包括将集群置于防火墙之后，如果Hadoop集群的目标位于防火墙之外，这可能会造成麻烦。该技术着眼于使用HttpFS网关通过端口80提供HDFS访问，端口80通常在防火墙上打开。
问题
希望从HDFS中提取数据，但是正处于限制访问HDFS的防火墙下。
解决方案
使用HttpFS网关，这是一个独立服务器，可通过HTTP提供对HDFS的访问。因为它是一个单独的服务而且是HTTP，所以可以配置为在任何可访问Hadoop节点的主机上运行，并且可以打开防火墙规则以允许流量到服务。
讨论
HttpFS非常有用，不仅可以使用REST来访问HDFS，还具有完整的Hadoop文件系统实现，这意味着可以使用CLI和本机HDFS Java客户端与HDFS进行通信。
一旦运行，可以发出与之前使用WebHDFS技术相同的curl命令(唯一的区别是URL主机和端口，需要指向部署HttpFS的位置)。这是关于HttpFS网关的好处之一—语法完全相同。
要转储文件/tmp/hdfs-file.txt的内容，需要执行以下操作：
实践：使用NFS挂载Hadoop
通常，如果Hadoop数据可以作为文件系统的常规安装来访问，那么使用Hadoop数据要容易得多。这允许使用现有脚本，工具和编程语言，并轻松地与HDFS中的数据进行交互。本节介绍如何使用NFS轻松地从HDFS复制数据。
问题
将HDFS视为常规Linux文件系统，并使用标准Linux工具与HDFS进行交互。
解决方案
使用Hadoop的NFS实现来访问HDFS中的数据。
讨论
前文介绍了用于NFS访问HDFS的设置指令。设置完成后，可以执行正常的文件系统操作，例如将文件从HDFS复制到本地文件系统。以下示例显示了这一点，假设HDFS安装在/hdfs下：
$ cp /hdfs/tmp/foo.txt ~/
实践：使用DistCp从Hadoop中复制数据
想象一下，希望从Hadoop中移出大量数据。对于本节中的大多数技术，有一个瓶颈，因为通过单个主机汇集数据，该主机是运行该进程的主机。要尽可能优化数据移动，需要利用MapReduce并行复制数据。这是DistCp发挥作用的地方，这种技术是一种可以将数据提取到NFS挂载的方法。
问题
希望有效地从Hadoop中提取数据并并行化副本。
解决方案
使用DistCp。
讨论
前文详细介绍了DistCp，并包含有关如何在不同Hadoop集群之间复制数据的详细信息，但DistCp不能用于将数据从Hadoop复制到本地文件系统(反之亦然)，因为DistCp作为MapReduce作业运行，并且集群将无法访问本地文件系统。根据具体情况，有几种选择：
使用HDFS File Slurper复制本地文件。
将文件复制到NFS，该NFS也可用于集群中的所有DataNode。
如果使用第二个选项，则可以使用DistCp并在每个DataNode上写入本地安装的NFS挂载，其示例如下：
请注意，NFS系统可能无法处理大量并行读取或写入，因此可能希望使用少于默认值20的mapper运行此命令——以下示例使用5个mapper运行：
使用Java提取文件
假设已经在HDFS中生成了许多Lucene索引，并且希望将它们拉出到外部主机。也许你想用Java以某种方式操作文件，此技术显示了如何使用Java HDFS API读取HDFS中的数据。
问题
希望将HDFS中的文件复制到本地文件系统。
解决方案
使用Hadoop的文件系统API从HDFS复制数据。
讨论
HDFS Java API与Java的I/O模型很好地集成，这意味着可以使用常规输入流和I/O输出流。
首先，需要使用命令行在HDFS中创建一个文件：
$ echo "hello world" | hadoop fs -put - hdfs-file.txt
现在使用命令行将该文件复制到本地文件系统：
$ hadoop fs -get hdfs-file.txt local-file.txt
让我们来探索如何在Java中复制此副本。编写代码有两个主要部分—第一部分是获取FileSystem的句柄并创建文件，第二部分是将数据从标准输入复制到OutputStream：
可以通过运行以下命令来查看此代码在实践中的工作原理：
到目前为止，我们已经介绍了与Hadoop捆绑在一起的低级工具，以帮助提取数据。接下来，我们将介绍从HDFS到本地文件系统的近乎连续的数据移动方法。
网友评论