儿童节要到了，媳妇吩咐去网上给娃找几首儿歌，因为版权原因，很多网站上的儿歌都不能播放，找来找去，终于找到一个某网站有中英2000多首儿歌可以正常播放，分析了播放页的源文件，很轻松就看到了歌曲的路径，用curl试了试，可以下载。
shell下载儿歌
儿歌共有35页，首先用一个for循环，将每一页都下载下来，再将每一页上包含每首歌歌名和播放页url的那一行代码提取出来，解析出歌名和url，存储到临时文件link.tmp中：
scan() {
for ((i=35; i>0; i--))
do
url="http://www.xxx.cn/ergemp3/242-"$i".html"
curl "$url" | grep \"title\" | awk -F '[\"<>]' '{print $3, $9}' >> link.tmp
done
}
在这里，grep用于提取目标行，awk用于提取“目标列”，最后保存到文件link.tmp中。
实际上，在shell编程中，临时文件通常都会保存到特定的目录中，最常用的就是/var/tmp，这样做可以更好的维持一个“干净”的系统，避免残留这些只使用一次或几次的临时文件。需要注意的是，当重新登录时，/var/tmp会被清空，其中所有的文件都会被删除。
我们截取一段link.tmp来分析分析：
/ergemp3/wodehaomamamp3.html 经典儿歌我的好妈妈mp3
/ergemp3/geshengyuweixiaomp3.html 经典儿歌歌声与微笑mp3
/ergemp3/shuyazi.html 经典儿歌数鸭子mp3
/ergemp3/ergemaibaogemp3.html 中文儿歌卖报歌mp3
/ergemp3/ergexiaoyanzimp3.html 中文儿歌小燕子mp3
/ergemp3/cuxindexiaohuajiamp3.html 中文儿歌粗心的小画家mp3
/ergemp3/ergechunxiaomp3.html 2010儿歌大奖赛金奖歌曲:春晓mp3
/ergemp3/ergechouxiaoyamp3.html 中文儿歌呱呱呱丑小鸭mp3
/ergemp3/ergebugump3.html 中文儿歌布谷鸟mp3
/ergemp3/dagongjimp3.html 儿歌大公鸡每天早起mp3
/ergemp3/who-built-the-ark-mp3.html 英文儿歌who built the ark mp3在线听
/ergemp3/do-re-mi.html 英文儿歌do re mi mp3在线听
/ergemp3/TheFirstNoel.html 圣诞歌曲英文儿歌the first noel
/ergemp3/jinglebells.html 圣诞歌曲英文儿歌jingle bells
/ergemp3/feddle-de-dee.html 英文儿歌fiddle-de-dee MP3
/ergemp3/oldmacdonald.html mp3英文儿歌Old Macdonald had a farm在线听
以空格分隔，第一列是目标歌曲的相对url，需要补全，这个只要进行字符串拼接即可；对于中文歌曲，第二列是歌名；麻烦的是英文歌，很多歌名中含有空格，空格的数量也不一致，那么怎么解析出这些歌名呢？
awk '{ for (i=2; i<NF; i++) printf("%s_", $i) } END { print $NF }'
这行代码会准确输出每首歌的歌名，这里使用了awk的for、printf、END和NF，注意awk中的for语法和shell是不同的，NF是当前行所包含“列”的数量，END只在最后一条记录被处理完之后执行一次。
对于awk，一般来说，每一行称为一条记录，每行中的一“列”称为一个字段。（实际上，记录和字段的分隔符都是可以自定义的。）
download() {
while read line
do
title="$(echo $line | awk '{ for (i=2; i<NF; i++) printf("%s_", $i) } END { print $NF }')"
url=$(echo $line | awk '{print $1}')
url="http://www.xxx.cn"$url
downurl=$(curl $url | grep 'mp3: "/uploads' | awk -F '\"' '{print $2}')
downurl="http://www.xxx.cn"$downurl
curl -o "$title".mp3 $downurl
sleep 5
done < link.tmp
}
上述代码从歌曲播放页中解析出下载路径的相对url，再拼接成绝对url，完成下载，并重命名，每个循环完成后延时5秒再开始下个循环。
至此，我们的主要目的已经达到，但是对于2000多文件而言，如果下载中断，下次再启动脚本时，将会从第一首歌重新下载，显然这么做太傻，因此，我们再加几行：
download() {
ls *.mp3 > allmp3.tmp
while read line
do
title="$(echo $line | awk '{ for (i=2; i<NF; i++) printf("%s_", $i) } END { print $NF }')"
if grep $title allmp3.tmp
then
continue
fi
url=$(echo $line | awk '{print $1}')
url="http://www.xxx.cn"$url
downurl=$(curl $url | grep 'mp3: "/uploads' | awk -F '\"' '{print $2}')
downurl="http://www.xxx.cn"$downurl
curl -o "$title".mp3 $downurl
sleep 5
done < link.tmp
}
将已经下载的文件列出来，每个循环开始时，都检查一下将要下载的文件是不是已经存在，如果已经存在，通过continue直接跳过，开始下个循环。
启动脚本时，首先运行scan，生成link.tmp，再运行download即完成下载，完整的代码如下：
#!/usr/bin/env bash
scan() {
for ((i=35; i>0; i--))
do
url="http://www.xxx.cn/ergemp3/242-"$i".html"
curl "$url" | grep \"title\" | awk -F '[\"<>]' '{print $3, $9}' >> link.tmp
done
}
download() {
ls *.mp3 > allmp3.tmp
while read line
do
title="$(echo $line | awk '{ for (i=2; i<NF; i++) printf("%s_", $i) } END { print $NF }')"
if grep $title allmp3.tmp
then
continue
fi
url=$(echo $line | awk '{print $1}')
url="http://www.xxx.cn"$url
downurl=$(curl $url | grep 'mp3: "/uploads' | awk -F '\"' '{print $2}')
downurl="http://www.xxx.cn"$downurl
curl -o "$title".mp3 $downurl
sleep 5
done < link.tmp
}
scan
download
exit 0
《小燕子》：“我们盖起了大工厂，装上了新机器”，让小燕子如何“长期住在这里”？
网友评论