使用nodejs快速实现爬取QQ音乐资源（一个简单的爬虫）

作者: 看物看雾 | 来源:发表于2019-05-27 14:24 被阅读0次

今天给大家分享一个使用nodejs快速实现一个爬虫的一个小小教程

对于此教程建议由node基础的同学观看，所以我不会写太多关于node的使用哈
教程制作的爬虫功能就是爬取QQ音乐的资源哈，功能比较单一所以有点low的那种，见谅

首先我们登录QQ音乐的官方网站要登陆不然无法访问API QQ音乐官网登陆进去哈
然后着手新建一个文件夹取名随意吧，然后进入这个文件夹
npm使用 npm init yarn使用 yarn init 还有一个pnpm的具体就不知道怎么初始化了
初始化好了之后我们需要安装依赖的一些包了，分别是： superagent request
键入命令

npm i superagent request

yarn 或者cnpm等等的自己安装哈
（还是建议大家使用yarn或者pnpm的来安装包，因为更快更方便，用的是yarn哈附带一个安装方法很简单）

使用这条命令就可以轻松安装yarn或者pnpm等其他的包管理器了

npm i -g yarn

如果你的网速不好又不喜欢使用cnpm（淘宝镜像）请使用

npm config set registry=https://registry.npm.taobao.org

将npm的包仓库更换成淘宝的

好了准备工作完成之后就可以着手撸代码了首先我们就用最近非常火的一首歌《一曲相思》来进行演示吧
首先进入QQ音乐官方然后进行搜索《一曲相思》

image.png

然后这首歌就出来了我们可以点击播放按钮就可以听了，好了点击播放吧（哈哈，当然不是听歌哈）
然后我们进入播放界面 CTRL+shift+i 调出开发者工具或者 f12哈
目前就是这样了

image.png

CTRL+R刷新一下，刷新之后就监听到了许多的请求我们直接过滤media出来，如下

image.png

然后直接单击最后一个条目，右键选择第一个 open in new tab 这个

image.png

不出意外的话就是这个样子，我们就已经将音乐源文件给它拿到手了，然后你懂得右键音频另存为就将歌曲下载到本地了，是不是很简单！
。。。。。。。
难道爬虫就完了吗？不没有，我们一个代码还没撸呢怎么可能就这样完了，作为程序员的我们当然是希望计算机帮我们来获取这个歌曲啦，我们只需要提供歌曲名和歌手名就ok了
（上面的获取音乐方法对某些地方还是有点用处的，比如说网易云音乐的API都是进行加密处理的没办法就只能手动撸呗）

然后我们可以开始撸代码了，在此之前需要获取一下QQ音乐的API
回到此界面调出开发者工具

image.png

然后刷新一下

image.png
经过我们的苦苦寻找终于找到QQ音乐请求的API （加快速度了）

然后直接上代码了
首先是要使用一个node一个自带的API----readLine进行编写

image.png

使用命令行的方式获取歌曲名和歌手名，然后请求对应的信息

image.png

其中API url就是上面我们审查出来的一个URL我们直接复制此URL改变w的词就行了

image.png

然后我们在浏览器中打开这个API发现我们需要的歌曲信息在data下的song下的list中不多不少刚好10个

image.png
然后就是观察我们需要的一些信息-------我们就可以使用如下代码列出歌曲

image.png

效果图

image.png

在编写代码的过程中发现根本就不需要输入歌手的名字，所以中途修改

image.png

然后我再进行进一步的处理，回到播放歌曲界面进行刷新

image.png

查看音乐API的参数是怎么来的，查看请求得到此url

image.png
我们右键新界面中打开，看到了许多的m4a的音乐文件不知道是个什么鬼（猜测应该是浏览器做兼容的）
但是不知道为什么都是m4a，当然，我们也不管它
image.png