前前言
喜马拉雅已经更换标签，我重新更新了下代码，文章暂时未改，因为思路还是如此，需要的可以扫一下文末公众号二维码（本人会在上面发表爬虫以及java的文章还有送书等资源福利哦），也可以直接搜索公众号“ 猿狮的单身日常”，好了广告结束...
前言
之前写过爬取图片的一篇文章，这回来看看如何爬取音频。图片，音频，视频这类都可以通过二进制方式保存到本地下载下来。
爬取图片文章的链接： python爬取图片并以二进制方式保存到本地
目标
本次我们爬取的目标是--喜马拉雅FM
这里写图片描述
喜马拉雅FM有数不计的音频，这些音频都有自己的分类，所以进一步给自己抛出一个需求， 爬取喜马拉雅所有分类的音频
接下来我们来分析这些分类，找到所有分类 https://www.ximalaya.com/category/
这里写图片描述
我们可以看到这里包括了大量的分类，那么我们找一个分类来看看其内部是怎样的
这里写图片描述
这里我们可以看到文学类下面的诸多FM节目，那么点开节目， 有的需要充值，有的免费，还有很多页这样的节目
这里写图片描述
继续跟进，可以看到，我们需要爬取的音频列表了！
好了，所以现在目标已经清晰起来了： 找到所有分类 -> 对每一个分类，获取其中所有页的FM节目->对每一个FM节目，爬取其下列表里的所有免费的音频
开始动刀
第一步
代码如下：
category_Url ='https://www.ximalaya.com/category/'base_url ='https://www.ximalaya.com'base_api ='https://www.ximalaya.com/revision/play/tracks?trackIds='header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'}client = pymongo.MongoClient(host='localhost', port=27017)db = client['ximalaya']defgetUrl():r = requests.get(category_Url, headers=header) html = r.text result = re.findall(r'<a class="e-2880429693 item separator".*?href="(.*?)">(.*?)</a>', html, re.S) url_list = []foriinresult:# 以一个分类为例 - - 有声书中的文学类，若没有break 则可获取全部分类second_url = base_url + i[0] url_list.append(second_url)# 获取该分类中全部的页数getMorePage(second_url)printsecond_urlbreak
分析每个分类的标签，获取网页源码中的所有分类，这里的 category_Url 是上面提到的所有分类得界面的URL
还定义一些要用到的基本的，比如请求头、连接MongoDB等， 在这里添加了break，是因为音频数过多，所以以有声书为例
第二步
defgetMorePage(url):r = requests.get(url, headers=header) m_list_html = r.text pageNum = re.findall(r'(\d+)</span></a></li><li class="e-3793817119 page-next page-item">', m_list_html,re.S) pageNum = int(pageNum[0])# 循环获取每一页，这里暂时获取第一页foriinrange(1, pageNum +1):ifi ==1: page_url = url# 获取页中的30个FMgetMusicList(page_url, i)else: page_url = url +'p{}/'.format(i) getMusicList(page_url, i)#爬取一页break
进入一个分类后，可以看到很多页的FM节目，所以应该想办法循环获取页面的内容，这里我们发现 页面数在网页源码中存在 ，通过正则我们将其取出，然后循环
这里我们注意一下其页面的url ：
https://www.ximalaya.com/youshengshu/wenxue/p2/
后面的p2对应页数，而第一页没有p，所以需要判断，这里也同样以第一页为例
第三步
defgetMusicList(url, page):r = requests.get(url, headers=header) m_list_html = r.text result = re.findall(r'<a class="e-1889510108.*?href="(.*?)"><img.*?src="(.*?)".*?alt="(.*?)".*?/>.*?"e-1889510108 icon-earphone xuicon xuicon-erji"></i>(.*?)</span>.*?"e-2896848410 album-author".*?title="(.*?)">', m_list_html, re.S) info = []# 获取该page中每一个FM的数据信息，可以存入MongoDBforiinresult: FM_info = {}#每个节目的urlFM_url = base_url + i[0] FM_info['url'] = FM_url FM_info['picture'] = i[1] FM_info['name'] = i[2] FM_info['playback'] = i[3] FM_info['author'] = i[4] info.append(FM_info)# 获取该FM中的音频信息# os.mkdir('D:\\Python\\PycharmProject\\Enhance\\xmly_fm\\{}'.format(FM_info['name']))get_FM_music(FM_url)# 先获取一个FM# for j in info:# print jtest = db['page'+ str(page)] test.insert(info)
以每页的url为参数传入 getMusicList() 获取每一页中的30个FM节目信息，可以将每个节目的信息存入到MongoDB中；然后是获取每个节目中的音频
第四步
defget_FM_music(fm_url):printfm_url r = requests.get(fm_url, headers=header) FM_music_html = r.text track_list = re.findall(r'<div class="e-2304105070 text"><a.*?title="(.*?)".*?href="(.*?)">.*?</a>', FM_music_html,re.S) detail_info = []# 爬取一个FM下的每个音频j =1foriintrack_list: detail = {}# 获取爬取音频所需的trackIdsid = str(i[1]).split('/')[3] detail['title'] = i[0] detail['detail_url'] = base_url + i[1] detail_info.append(detail)# api中的数据信息get_detailFM_api(id)printu'已获取第'+ str(j) +u'个音频'j +=1printdetail['title']+u',该音频爬取完毕'time.sleep(2+random.randint(1,10))
获取每个音频对应的url，这里需要注意，自我们点击一个音频的时候
这里写图片描述
进入到以下界面
这里写图片描述
我们既然要获取音频，那么不妨打开开发者工具，再点击播放音频试试
结果我们发现，点击播放按钮，发送了一个请求：
这里写图片描述
https://www.ximalaya.com/revision/play/tracks?trackIds=93433726
注意trackIds就是当前音频url的最后一部分：
https://www.ximalaya.com/youshengshu/11377428/93433726
同时我们可以看到我们所需的音频源就在这里：
这里写图片描述
这里写图片描述
所以我们可以通过获取页面url的最后一部分，构建一个请求，发送后就可以获取json数据，从而获得音频源的url
第五步
defget_detailFM_api(id):api = base_api + idprintapi r = requests.get(api, headers=header) result = r.json() src = result['data']['tracksForAudioPlay'][0]ifsrc['src']:printu'试听'r = requests.get(src['src'], headers=header)try: f = open('D:\\Python\\PycharmProject\\Enhance\\xmly_fm\\{}.m4a'.format(src['trackName']),'wb')except:printu'已存在'passf.write(r.content) f.closeprintu'保存完毕...'else:printu'需要收费'pass
通过访问音频源，以 r.content 将音频保存到本地
这里写图片描述
这里保存的时候还需改进，希望做到对每个节目新建一个文件夹，将该节目的音频存入对应的文件夹中
最后，程序从这里开始运行
if__name__=='__main__': getUrl()
有疑问或更好的方法的话，欢迎交流！
下一篇应该是爬取网易云的，或者是爬取视频；最近也是忙着期末的考试，我也算是碰见了最佩服的老师...（考试时看我们做的试卷，唉，急的直接说答案了！！...）
完整代码可以在我的GitHub上下载~
https://github.com/joelYing/XimalayaFM
前前言
喜马拉雅已经更换标签，我重新更新了下代码，思路还是如此，需要的可以扫一下文末公众号二维码（本人会在上面发表爬虫以及java的文章还有送书等资源福利哦），也可以直接搜索公众号“ 猿狮的单身日常”，好了广告结束...
前言
之前写过爬取图片的一篇文章，这回来看看如何爬取音频。图片，音频，视频这类都可以通过二进制方式保存到本地下载下来。
爬取图片文章的链接： python爬取图片并以二进制方式保存到本地
目标
本次我们爬取的目标是--喜马拉雅FM
这里写图片描述
喜马拉雅FM有数不计的音频，这些音频都有自己的分类，所以进一步给自己抛出一个需求， 爬取喜马拉雅所有分类的音频
接下来我们来分析这些分类，找到所有分类 https://www.ximalaya.com/category/
这里写图片描述
我们可以看到这里包括了大量的分类，那么我们找一个分类来看看其内部是怎样的
这里写图片描述
这里我们可以看到文学类下面的诸多FM节目，那么点开节目， 有的需要充值，有的免费，还有很多页这样的节目
这里写图片描述
继续跟进，可以看到，我们需要爬取的音频列表了！
好了，所以现在目标已经清晰起来了： 找到所有分类 -> 对每一个分类，获取其中所有页的FM节目->对每一个FM节目，爬取其下列表里的所有免费的音频
开始动刀
第一步
代码如下：
category_Url ='https://www.ximalaya.com/category/'base_url ='https://www.ximalaya.com'base_api ='https://www.ximalaya.com/revision/play/tracks?trackIds='header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'}client = pymongo.MongoClient(host='localhost', port=27017)db = client['ximalaya']defgetUrl():r = requests.get(category_Url, headers=header) html = r.text result = re.findall(r'<a class="e-2880429693 item separator".*?href="(.*?)">(.*?)</a>', html, re.S) url_list = []foriinresult:# 以一个分类为例 - - 有声书中的文学类，若没有break 则可获取全部分类second_url = base_url + i[0] url_list.append(second_url)# 获取该分类中全部的页数getMorePage(second_url)printsecond_urlbreak
分析每个分类的标签，获取网页源码中的所有分类，这里的 category_Url 是上面提到的所有分类得界面的URL
还定义一些要用到的基本的，比如请求头、连接MongoDB等， 在这里添加了break，是因为音频数过多，所以以有声书为例
第二步
defgetMorePage(url):r = requests.get(url, headers=header) m_list_html = r.text pageNum = re.findall(r'(\d+)</span></a></li><li class="e-3793817119 page-next page-item">', m_list_html,re.S) pageNum = int(pageNum[0])# 循环获取每一页，这里暂时获取第一页foriinrange(1, pageNum +1):ifi ==1: page_url = url# 获取页中的30个FMgetMusicList(page_url, i)else: page_url = url +'p{}/'.format(i) getMusicList(page_url, i)#爬取一页break
进入一个分类后，可以看到很多页的FM节目，所以应该想办法循环获取页面的内容，这里我们发现 页面数在网页源码中存在 ，通过正则我们将其取出，然后循环
这里我们注意一下其页面的url ：
https://www.ximalaya.com/youshengshu/wenxue/p2/
后面的p2对应页数，而第一页没有p，所以需要判断，这里也同样以第一页为例
第三步
defgetMusicList(url, page):r = requests.get(url, headers=header) m_list_html = r.text result = re.findall(r'<a class="e-1889510108.*?href="(.*?)"><img.*?src="(.*?)".*?alt="(.*?)".*?/>.*?"e-1889510108 icon-earphone xuicon xuicon-erji"></i>(.*?)</span>.*?"e-2896848410 album-author".*?title="(.*?)">', m_list_html, re.S) info = []# 获取该page中每一个FM的数据信息，可以存入MongoDBforiinresult: FM_info = {}#每个节目的urlFM_url = base_url + i[0] FM_info['url'] = FM_url FM_info['picture'] = i[1] FM_info['name'] = i[2] FM_info['playback'] = i[3] FM_info['author'] = i[4] info.append(FM_info)# 获取该FM中的音频信息# os.mkdir('D:\\Python\\PycharmProject\\Enhance\\xmly_fm\\{}'.format(FM_info['name']))get_FM_music(FM_url)# 先获取一个FM# for j in info:# print jtest = db['page'+ str(page)] test.insert(info)
以每页的url为参数传入 getMusicList() 获取每一页中的30个FM节目信息，可以将每个节目的信息存入到MongoDB中；然后是获取每个节目中的音频
第四步
defget_FM_music(fm_url):printfm_url r = requests.get(fm_url, headers=header) FM_music_html = r.text track_list = re.findall(r'<div class="e-2304105070 text"><a.*?title="(.*?)".*?href="(.*?)">.*?</a>', FM_music_html,re.S) detail_info = []# 爬取一个FM下的每个音频j =1foriintrack_list: detail = {}# 获取爬取音频所需的trackIdsid = str(i[1]).split('/')[3] detail['title'] = i[0] detail['detail_url'] = base_url + i[1] detail_info.append(detail)# api中的数据信息get_detailFM_api(id)printu'已获取第'+ str(j) +u'个音频'j +=1printdetail['title']+u',该音频爬取完毕'time.sleep(2+random.randint(1,10))
获取每个音频对应的url，这里需要注意，自我们点击一个音频的时候
这里写图片描述
进入到以下界面
这里写图片描述
我们既然要获取音频，那么不妨打开开发者工具，再点击播放音频试试
结果我们发现，点击播放按钮，发送了一个请求：
这里写图片描述
https://www.ximalaya.com/revision/play/tracks?trackIds=93433726
注意trackIds就是当前音频url的最后一部分：
https://www.ximalaya.com/youshengshu/11377428/93433726
同时我们可以看到我们所需的音频源就在这里：
这里写图片描述
这里写图片描述
所以我们可以通过获取页面url的最后一部分，构建一个请求，发送后就可以获取json数据，从而获得音频源的url
第五步
defget_detailFM_api(id):api = base_api + idprintapi r = requests.get(api, headers=header) result = r.json() src = result['data']['tracksForAudioPlay'][0]ifsrc['src']:printu'试听'r = requests.get(src['src'], headers=header)try: f = open('D:\\Python\\PycharmProject\\Enhance\\xmly_fm\\{}.m4a'.format(src['trackName']),'wb')except:printu'已存在'passf.write(r.content) f.closeprintu'保存完毕...'else:printu'需要收费'pass
通过访问音频源，以 r.content 将音频保存到本地
这里写图片描述
这里保存的时候还需改进，希望做到对每个节目新建一个文件夹，将该节目的音频存入对应的文件夹中
最后，程序从这里开始运行
if__name__=='__main__': getUrl()
有疑问或更好的方法的话，欢迎交流！
下一篇应该是爬取网易云的，或者是爬取视频；最近也是忙着期末的考试，我也算是碰见了最佩服的老师...（考试时看我们做的试卷，唉，急的直接说答案了！！...）
完整代码可以在我的GitHub上下载~
https://github.com/joelYing/XimalayaFM
前前言
喜马拉雅已经更换标签，我重新更新了下代码，思路还是如此，需要的可以扫一下文末公众号二维码（本人会在上面发表爬虫以及java的文章还有送书等资源福利哦），也可以直接搜索公众号“ 猿狮的单身日常”，好了广告结束...
前言
之前写过爬取图片的一篇文章，这回来看看如何爬取音频。图片，音频，视频这类都可以通过二进制方式保存到本地下载下来。
爬取图片文章的链接： python爬取图片并以二进制方式保存到本地
目标
本次我们爬取的目标是--喜马拉雅FM
这里写图片描述
喜马拉雅FM有数不计的音频，这些音频都有自己的分类，所以进一步给自己抛出一个需求， 爬取喜马拉雅所有分类的音频
接下来我们来分析这些分类，找到所有分类 https://www.ximalaya.com/category/
这里写图片描述
我们可以看到这里包括了大量的分类，那么我们找一个分类来看看其内部是怎样的
这里写图片描述
这里我们可以看到文学类下面的诸多FM节目，那么点开节目， 有的需要充值，有的免费，还有很多页这样的节目
这里写图片描述
继续跟进，可以看到，我们需要爬取的音频列表了！
好了，所以现在目标已经清晰起来了： 找到所有分类 -> 对每一个分类，获取其中所有页的FM节目->对每一个FM节目，爬取其下列表里的所有免费的音频
开始动刀
第一步
代码如下：
category_Url ='https://www.ximalaya.com/category/'base_url ='https://www.ximalaya.com'base_api ='https://www.ximalaya.com/revision/play/tracks?trackIds='header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'}client = pymongo.MongoClient(host='localhost', port=27017)db = client['ximalaya']defgetUrl():r = requests.get(category_Url, headers=header) html = r.text result = re.findall(r'<a class="e-2880429693 item separator".*?href="(.*?)">(.*?)</a>', html, re.S) url_list = []foriinresult:# 以一个分类为例 - - 有声书中的文学类，若没有break 则可获取全部分类second_url = base_url + i[0] url_list.append(second_url)# 获取该分类中全部的页数getMorePage(second_url)printsecond_urlbreak
分析每个分类的标签，获取网页源码中的所有分类，这里的 category_Url 是上面提到的所有分类得界面的URL
还定义一些要用到的基本的，比如请求头、连接MongoDB等， 在这里添加了break，是因为音频数过多，所以以有声书为例
第二步
defgetMorePage(url):r = requests.get(url, headers=header) m_list_html = r.text pageNum = re.findall(r'(\d+)</span></a></li><li class="e-3793817119 page-next page-item">', m_list_html,re.S) pageNum = int(pageNum[0])# 循环获取每一页，这里暂时获取第一页foriinrange(1, pageNum +1):ifi ==1: page_url = url# 获取页中的30个FMgetMusicList(page_url, i)else: page_url = url +'p{}/'.format(i) getMusicList(page_url, i)#爬取一页break
进入一个分类后，可以看到很多页的FM节目，所以应该想办法循环获取页面的内容，这里我们发现 页面数在网页源码中存在 ，通过正则我们将其取出，然后循环
这里我们注意一下其页面的url ：
https://www.ximalaya.com/youshengshu/wenxue/p2/
后面的p2对应页数，而第一页没有p，所以需要判断，这里也同样以第一页为例
第三步
defgetMusicList(url, page):r = requests.get(url, headers=header) m_list_html = r.text result = re.findall(r'<a class="e-1889510108.*?href="(.*?)"><img.*?src="(.*?)".*?alt="(.*?)".*?/>.*?"e-1889510108 icon-earphone xuicon xuicon-erji"></i>(.*?)</span>.*?"e-2896848410 album-author".*?title="(.*?)">', m_list_html, re.S) info = []# 获取该page中每一个FM的数据信息，可以存入MongoDBforiinresult: FM_info = {}#每个节目的urlFM_url = base_url + i[0] FM_info['url'] = FM_url FM_info['picture'] = i[1] FM_info['name'] = i[2] FM_info['playback'] = i[3] FM_info['author'] = i[4] info.append(FM_info)# 获取该FM中的音频信息# os.mkdir('D:\\Python\\PycharmProject\\Enhance\\xmly_fm\\{}'.format(FM_info['name']))get_FM_music(FM_url)# 先获取一个FM# for j in info:# print jtest = db['page'+ str(page)] test.insert(info)
以每页的url为参数传入 getMusicList() 获取每一页中的30个FM节目信息，可以将每个节目的信息存入到MongoDB中；然后是获取每个节目中的音频
第四步
defget_FM_music(fm_url):printfm_url r = requests.get(fm_url, headers=header) FM_music_html = r.text track_list = re.findall(r'<div class="e-2304105070 text"><a.*?title="(.*?)".*?href="(.*?)">.*?</a>', FM_music_html,re.S) detail_info = []# 爬取一个FM下的每个音频j =1foriintrack_list: detail = {}# 获取爬取音频所需的trackIdsid = str(i[1]).split('/')[3] detail['title'] = i[0] detail['detail_url'] = base_url + i[1] detail_info.append(detail)# api中的数据信息get_detailFM_api(id)printu'已获取第'+ str(j) +u'个音频'j +=1printdetail['title']+u',该音频爬取完毕'time.sleep(2+random.randint(1,10))
获取每个音频对应的url，这里需要注意，自我们点击一个音频的时候
这里写图片描述
进入到以下界面
这里写图片描述
我们既然要获取音频，那么不妨打开开发者工具，再点击播放音频试试
结果我们发现，点击播放按钮，发送了一个请求：
这里写图片描述
https://www.ximalaya.com/revision/play/tracks?trackIds=93433726
注意trackIds就是当前音频url的最后一部分：
https://www.ximalaya.com/youshengshu/11377428/93433726
同时我们可以看到我们所需的音频源就在这里：
这里写图片描述
这里写图片描述
所以我们可以通过获取页面url的最后一部分，构建一个请求，发送后就可以获取json数据，从而获得音频源的url
第五步
defget_detailFM_api(id):api = base_api + idprintapi r = requests.get(api, headers=header) result = r.json() src = result['data']['tracksForAudioPlay'][0]ifsrc['src']:printu'试听'r = requests.get(src['src'], headers=header)try: f = open('D:\\Python\\PycharmProject\\Enhance\\xmly_fm\\{}.m4a'.format(src['trackName']),'wb')except:printu'已存在'passf.write(r.content) f.closeprintu'保存完毕...'else:printu'需要收费'pass
通过访问音频源，以 r.content 将音频保存到本地
这里写图片描述
这里保存的时候还需改进，希望做到对每个节目新建一个文件夹，将该节目的音频存入对应的文件夹中
最后，程序从这里开始运行
if__name__=='__main__': getUrl()
有疑问或更好的方法的话，欢迎交流！
小编准备了一份2018年最新的python零基础系统学习资料，需要学习资料加群735934841
网友评论