芝加哥大学(美国)校训:“益智厚生。”
今天有点口干舌燥,废话不多说了,直接上干货吧?停下吧,常玩Linux的码农心想这么简单的命令还用讲解嘛?OK,扪心自问,知道wget的递归下载嘛,了解curl的分块下载嘛?不知道的烦请搬个小板凳当吃瓜群众吧。。。。
一 wget详解
用法:wget [OPTION]... [URL]...
> -b 后台下载,默认的是把文件下载到当前目录
> -O 将下载输出到指定的文件(即重命名)
> -P 创建指定名称的目录来存储下载的文件
> -t 尝试连接服务器的次数
> -c 断点续传,如果下载中断,在连接恢复时会从上次断点开始下载
> -r 使用递归下载
> -p 展示下载的html页面所需的图片等
> -np 不会操作下载父目录
> -k 把页面中的静态资源像图片/css等下载到本地,以便使用
> -nc 跳过下载已经存在的资源文件
demo:爬取静态网页上的资源
wget -r -p -np -k -nc -c http://tomcat.apache.org/tomcat-9.0-doc
二 curl详解
调试接口估计都会用到curl,用来模拟请求,并可支持文件上传及下载
用法:curl [options...] <url>
> -o 把输出写到指定的文件中
> -O 把输出写到文件中,文件名为远程文件名
> -r 用于支持分块下载
> -# 进度条显示当前的传送状态
> -T 上传文件
> -C 断点续转
demo:
1/ curl -O http://mirror.bit.edu.cn/apache/tomcat/tomcat-9/v9.0.22/bin/apache-tomcat-9.0.22-fulldocs.tar.gz
2/ curl -o tomcat.tar.gz http://mirror.bit.edu.cn/apache/tomcat/tomcat-9/v9.0.22/bin/apache-tomcat-9.0.22-fulldocs.tar.gz
3/ 分块下载并合并
curl -r 0-10000 -o tomcat_part1.tar.gz http://mirror.bit.edu.cn/apache/tomcat/tomcat-9/v9.0.22/bin/apache-tomcat-9.0.22-fulldocs.tar.gz
curl -r 10001- -o tomcat_part2.tar.gz http://mirror.bit.edu.cn/apache/tomcat/tomcat-9/v9.0.22/bin/apache-tomcat-9.0.22-fulldocs.tar.gz
cat tomcat_part* > tomcat.tar.gz
特此声明:
分享文章有完整的知识架构图,将从以下几个方面系统展开:
1 基础(Linux/Spring boot/并发)
2 性能调优(jvm/tomcat/mysql)
3 高并发分布式
4 微服务体系
如果您觉得文章不错,请关注阿伦故事,您的支持是我坚持的莫大动力,在此受小弟一拜!
每篇福利:

网友评论