注：本文涉及书中3.7~3.8小结
可以使用现成的工具，如Flume和Sqoop，而非写程序来将数据导入HDFS中。
1. Apache Flume
典型应用场景：从另外一个系统中收集日志数据
2. Apache Sqoop
将数据从结构化存储设备批量导入HDFS中
1. 在两个运行着相同HDFS版本的集群之间复制数据
通过distcp来实现
2. 在两个运行着不同HDFS版本的集群之间复制数据
（1）使用基于只读HTTP协议的HFTP文件系统从源文件系统中读取数据，作业只能运作在目标集群上
（2）使用webhdfs协议，对源集群和目标集群都可以使用HTTP协议进行通信
（3）使用HDFS HTTP代理服务作为源distcp或者目标distcp
3. 要注意保持HDFS集群的均衡性
注：本文涉及书中3.7~3.8小结 使用现成的工具将数据导入HDFS中 可以使用现成的工具，如Flume和Sqoo...
注：本文涉及书中3.3小结 命令行接口 书中3.3小节给出了命令行交互HDFS的过程：首先介绍了伪分布式下运行HD...
注：本文涉及书中3.6小结 数据流 1. 文件读取 结合上图，客户端通过调用FileSystem对象的open()...
注：本文涉及书中3.1~3.2小结 1. HDFS的特点 1. HDFS以流式数据访问模式来存储超大文件，运行于商...
《Hadoop权威指南》第9章 9.4 P270-P276《Hadoop权威指南》第10章《Hadoop权威指南》...
Hadoop 权威指南：
Done:《Hadoop权威指南》第7章 MapReduce的工作机制《Hadoop权威指南》第8章 MapRed...
转载请注明出处：http://wangnan.tech 简书:http://www.jianshu.com/u/2...
Java性能权威指南 hadoop权威指南 hbase权威指南 大型网站系统与Java中间件实践 Effectiv...
《Hadoop权威指南》第17章
本文标题：Hadoop权威指南-ch3 HDFS（5）
本文链接：https://www.haomeiwen.com/subject/xttmlftx.html
网友评论