shell脚本(5)一团乱麻？没这回事

1、wget命令行下载工具

wget URL

//-O选项指定输出文件名，如果存在同名的文件会覆盖该文件；-o选项指定日志文件
wget ftp://example_domain.com/somefile.img -O dloaded_file.img -o log 

//-t选项指定重试次数，重试5次
wget -t 5 URL

//不停的重试
wget -t 0 URL

//--limit-rate选项下载限速
wget --limit-rate 20k http://example.com/file.iso 

//-Q选项指定最大下载配额
wget -Q 100m http://example.com/file1 http://example.com/file2 

//-c选项断点续传
wget -c URL 

//--user/--password选项访问需要认证的HTTP或FTP页面
wget --user username --password pass URL

2、curl入门

作为一款强力工具，curl支持包括HTTP，HTTPS，FTP在内的众多协议。它还支持POST，cookie，认证，从指定偏移处下载部分文件，参照页（referer），用户代理字符串，扩展头部，限速，文件大小限制，进度条等特性。

curl URL

//--silent: 不打印输出日志
curl URL --silent

//选项-O表明下载数据写入文件，而非标准输出中。该文件采用的是从URL中解析出的文件名
curl URL --silent -O 

//-o指定下载文件名，--progress显示下载进度
//大小o选项同wget命令的用作不太一样，wget中大O指定下载的文件名，小o指定日志文件
curl http://slynux.org -o index.html --progress 

//-C选项表示断点续传
curl URL/file -C offset 

//curl会推断出正确的断点位置下载文件
curl -C - URL 

//--referer设置参照页字符串。
//从A网页打开一个链接进入B网页，B网页可以通过referer参数知道自己的上一个网页是谁，
//这里的referer就是A网页，比如我们知道B网页是来自google，
//就可以在B网页加上一个google的logo。
curl --referer Referer_URL target_URL 
curl --referer http://google.com http://slynux.org

//--cookie选项指定cookie，cookie包含在双引号中，以key=value的形式，
//多组key=value以分号隔开
curl http://example.com --cookie "user=slynux;pass=hack" 

//--user-agent选项指定userAgent
curl URL --user-agent "Mozilla/5.0" 

//-H选项可以设置HTTP请求header的参数信息
curl -H "Host:www.slynux.org" -H "Accept-language: en" URL 

//--limit-rate选项设置下载速度，同wget
curl URL --limit-rate 20k 

//--max-filesize选项指定可下载的最大文件大小，同wget的-Q选项
curl URL --max-filesize bytes

//-u选项用于用户认证，同wget的--user/--password
curl -u user:pass http://test_auth.com 

//提示后输入密码，同wget的--ask-password
curl -u user http://test_auth.com 

//-I选项只打印响应头部信息（不包括数据部分）
curl -I http://slynux.org