$ vi getNcdcBigData.sh
# !/bin/bash
for i in {1901..2014}
do
cd /home/xxxx/hapood/ncdc
wget --execute robots=off -r -np -nH --cut-dirs=4 -R index.html* ftp://ftp.ncdc.noaa.gov/pub/data/gsod/$i/
done
$ chmod +x getNcdcBigData.sh
$ ./getNcdcBigData.sh
$ vi getNcdcBigData.sh 参考:【NCDC数据】获取 hadoop权威指南3中的NCDC数据
由于数据量过大，可以多开几个终端下载，但服务器好像限制只能连接三个。
《Hadoop权威指南》第9章 9.4 P270-P276《Hadoop权威指南》第10章《Hadoop权威指南》...
准备工作：数据：hadoop权威指南相关数据下载地址脚本：
2016 读书列表： 大数据技术： 1、《hadoop权威指南》 2、《Hadoop技术内幕 深入解析HADOOP...
Hadoop 权威指南：
大话数据结构 Hadoop权威指南第四版中文
Done:《Hadoop权威指南》第7章 MapReduce的工作机制《Hadoop权威指南》第8章 MapRed...
Java性能权威指南 hadoop权威指南 hbase权威指南 大型网站系统与Java中间件实践 Effectiv...
《Hadoop权威指南》第17章
本文标题：Hadoop权威指南NCDC数据获取
本文链接：https://www.haomeiwen.com/subject/tilmcqtx.html
网友评论