美文网首页
wget&curl之下载

wget&curl之下载

作者: 阿伦故事2019 | 来源:发表于2019-07-18 16:21 被阅读0次

芝加哥大学(美国)校训:“益智厚生。”


今天有点口干舌燥,废话不多说了,直接上干货吧?停下吧,常玩Linux的码农心想这么简单的命令还用讲解嘛?OK,扪心自问,知道wget的递归下载嘛,了解curl的分块下载嘛?不知道的烦请搬个小板凳当吃瓜群众吧。。。。

一 wget详解

用法:wget [OPTION]... [URL]...

> -b    后台下载,默认的是把文件下载到当前目录

> -O    将下载输出到指定的文件(即重命名)

> -P    创建指定名称的目录来存储下载的文件

> -t    尝试连接服务器的次数

> -c    断点续传,如果下载中断,在连接恢复时会从上次断点开始下载

> -r    使用递归下载

> -p    展示下载的html页面所需的图片等

> -np    不会操作下载父目录

> -k    把页面中的静态资源像图片/css等下载到本地,以便使用

> -nc    跳过下载已经存在的资源文件

demo:爬取静态网页上的资源

wget -r -p -np -k -nc -c http://tomcat.apache.org/tomcat-9.0-doc

二 curl详解

调试接口估计都会用到curl,用来模拟请求,并可支持文件上传及下载

用法:curl [options...] <url>

> -o    把输出写到指定的文件中

> -O    把输出写到文件中,文件名为远程文件名

> -r    用于支持分块下载

> -#    进度条显示当前的传送状态

> -T    上传文件

> -C    断点续转

demo

1/ curl -O http://mirror.bit.edu.cn/apache/tomcat/tomcat-9/v9.0.22/bin/apache-tomcat-9.0.22-fulldocs.tar.gz

2/ curl -o tomcat.tar.gz http://mirror.bit.edu.cn/apache/tomcat/tomcat-9/v9.0.22/bin/apache-tomcat-9.0.22-fulldocs.tar.gz

3/ 分块下载并合并

curl -r 0-10000 -o tomcat_part1.tar.gz http://mirror.bit.edu.cn/apache/tomcat/tomcat-9/v9.0.22/bin/apache-tomcat-9.0.22-fulldocs.tar.gz

curl -r 10001- -o tomcat_part2.tar.gz http://mirror.bit.edu.cn/apache/tomcat/tomcat-9/v9.0.22/bin/apache-tomcat-9.0.22-fulldocs.tar.gz

cat tomcat_part* > tomcat.tar.gz


特此声明:

分享文章有完整的知识架构图,将从以下几个方面系统展开:

1 基础(Linux/Spring boot/并发)

2 性能调优(jvm/tomcat/mysql)

3 高并发分布式

4 微服务体系

如果您觉得文章不错,请关注阿伦故事,您的支持是我坚持的莫大动力,在此受小弟一拜!


每篇福利:

相关文章

网友评论

      本文标题:wget&curl之下载

      本文链接:https://www.haomeiwen.com/subject/iysllctx.html