思路和想法

虾米音乐有个网页播放器，这回我抓的就是在登陆的时候，这个播放器上所有的歌单里的所有歌曲。如图：

xiami-界面.jpg

我之前没用过虾米，所以注册了个新账号，新建了三个歌单，每个歌单（左侧红框）大概3-5首歌，我的目标就是将这些歌曲都下载到电脑里来。

当我们点击这个播放器页面里的链接时，页面的地址不会发生变化，显然这又是个异步加载，但是这次找XHR要注意一点细节：

xiami-xhr分析.jpg

经过一定的分析，左侧第一个红框里的XHR包含了所有的歌单以及每个歌单的list_id，之后我们可以用这个id来构建一条类似于蓝框里的XHR，用来获取某个歌单里所有歌曲的location，location就是该歌曲加密后的下载URL。这里有几个细节：

• 如果你点击播放某个歌曲，会收到如第二个红框那样的XHR，它里面也包含了该歌曲的location，这种方法也是可行的，只是每次只能获取一首歌曲的location，用蓝框里那种XHR可以一次获得整个歌单里所有歌曲的location。
• 在构建蓝框里那条XHR时，要注意请求头的字段，不仅要包含cookies，也要包含referer，后者很重要否则服务器会返回404错误，至于referer的内容，里面涉及到一个ID，但据我测试，任何一首歌的songID都可以。
• 请求的两个参数_ksTS和callback，前者是由当前的时间(time.time())加一个数字组成，后者是jsonp加一个数字，后一个数字比前一个数字大1。这里我没具体测出数字的范围，取一个1000以内的应该没问题。callback的值会在之后返回的json文件里体现出来，说实话，个人觉得有点画蛇添足地味道。

现在我们有了每个歌单的id，并且根据这个id，获取了歌单里所有歌曲的信息，这里我只取了歌曲名、歌手和位置。接着你会发现这个位置是加密过的，所以这时应该去js里找这个加密函数。

找js文件其实也是有技巧的，一般来说，像这种功能肯定是自定义的，所以要去自定义的js文件里找，然后搜索一些如location啊，url之类的关键字，这次运气好，很快就找了。加密函数在https://g.alicdn.com/music/music-player/1.1.6/??common/global-min.js,pages/index/page/init-min.js里，格式化后第1087-1104行，如图。

xiami-getlocation.jpg

这里我暂且不谈这个函数是怎么运作的。先说点别的，我在网上看到了一些关于下载虾米音乐的资料，几乎全部在获取了加密后的location之后都是开始自己琢磨如何解密，个人以为这其实是不可取的，像js这种端脚本语言，如果要解密肯定是有迹可循的，而且肯定在某个js文件里，区别只是写代码的人把它隐藏到哪种程度。所以，如果遇到类似的情况，应该去找js，而不是先自己琢磨。

这里还有一个技巧就是：其实我们根本不需要理解这个函数是怎么运作的，也不需要将它改变成python版本，python有一个名为PyExecJS的库可以直接运行js代码。很好很强大。

代码

代码很简单，首先获取所有歌单的list_id，然后根据每个list_id获取其中的所有歌曲的信息，然后解密location的值，最后在将歌曲下载下来。最后下载下来的效果如图：

xiami-下载.jpg

js.py

jsstr = '''
function getLocation(a) {
    if (-1 !== a.indexOf("http://"))
        return a;

    for (var b = Number(a.charAt(0)), c = a.substring(1), d = Math.floor(c.length / b), e = c.length % b, f = new Array, g = 0; e > g; g++)
        void 0 == f[g] && (f[g] = ""),
        f[g] = c.substr((d + 1) * g, d + 1);

    for (g = e; b > g; g++)
        f[g] = c.substr(d * (g - e) + (d + 1) * e, d);

    var h = "";
    for (g = 0; g < f[0].length; g++)
        for (var i = 0; i < f.length; i++)
            h += f[i].charAt(g);
            
    h = unescape(h);
    var j = "";
    for (g = 0; g < h.length; g++)
        j += "^" == h.charAt(g) ? "0" : h.charAt(g);
    
    return j = j.replace("+", " ")
    }
'''

xiami.py

configure.py请参考拙作:爬取糗事百科的内容和图片并展示。

import requests
import re
import json
import os
import time
from random import choice
import random
import execjs

from js import jsstr
import Configure

url = "https://www.xiami.com/playercollect/list"
header = {'user-agent': choice(Configure.FakeUserAgents)}

cookies = {}

cookiestr = '''gid=152425845220935; 
            _unsign_token=1ce1fe55087ea1f21db47780701aa248; 
            cna=BOBeExJaZ2MCAUWMrkuEudTQ; 
            UM_distinctid=162e4e236948cf-0773ed2704ac51-3b60490d-1fa400-162e4e236957a6; 
            join_from=0zqfTI9Kv2Ew3f7BEdw; 
            _xiamitoken=9934bc4572854b88e3b35017a976a3c7; 
            user_from=2; 
            PHPSESSID=abdb66f05f100adc171436cdc0db744a; 
            s_uid=2523264732; 
            access_token=2.00Q73lkC81ERME01ffcdd5d907MPnY; 
            __XIAMI_SESSID=9dd80406b67dc4af1df541f343f5ecdf; 
            xmgid=6539bf5e-7321-44d3-ab3d-0d8ff66d0f50; 
            connect_sina=76633; 
            expires_in=2652725; 
            CNZZDATA2629111=cnzz_eid%3D1724500643-1524255732-https%253A%252F%252Fwww.google.com%252F%26ntime%3D1525313285; 
            _umdata=535523100CBE37C33075D564A95D152BC5B96D713321CA2CED3D987F95DDB172352CD465FA09B190CD43AD3E795C914C6D829DD7915A193EB257667C30CCA2E2; 
            member_auth=hWrNTo4duj9lgqPAT4FlIiIW4OLdHDLSwo0C3rIl5AMhJ9wBa4TxlauSRAlB3SiVqVEmwDAiBbv9xkT9%2FlYdtts; 
            user=362958619%22%E4%BD%8E%E8%B0%83%E9%9A%90%E5%BF%8DOB%22%220%220%22do%220%220%220%22975ef99c85%221525314365; 
            t_sign_auth=0; 
            CNZZDATA921634=cnzz_eid%3D1878118879-1524256440-https%253A%252F%252Fwww.google.com%252F%26ntime%3D1525314514; 
            form_timestamp=1525318171; 
            XMPLAYER_url=/song/playlist-default; 
            XMPLAYER_addSongsToggler=0; 
            __guestplay=MTc3NDMyMTIxNSw2OzE3OTYwMzI0MTMsMjA7MTgwMzAwMjM4MSw0OzE3OTYwMzI0MTIsMg%3D%3D; 
            XMPLAYER_isOpen=0; 
            isg=BEREMy-7wt1ZiXahWEFx4c_eFcI8XWhO-TQFnl7k1I_SieVThG1fVPBozTdRyqAf
            '''

for cookie in cookiestr.split(';'):
    name,value=cookie.strip().split('=',1)  
    cookies[name]=value

def getRandomParams():
    a = int(time.time()*1000)
    b = random.randint(200,1000)

    return {'_ksTS':'{0:d}_{1:d}'.format(a,b), 'callback':'jsonp{0:d}'.format(b+1)}

def getPlaylist():
    playlist = []
    try:    
        response = requests.get(url, headers=header, params=getRandomParams(), cookies=cookies)
        content = None

        if response.status_code == requests.codes.ok:
            content = response.text
            
    except Exception as e:
        print (e)

    pattern = re.compile('"list_id":(\d+),', re.S)
    data = pattern.findall(content)
    return data

def getSongLocation(list_id):

    url2 = "https://www.xiami.com/song/playlist/id/{0:s}/type/3/cat/json".format(list_id)

    header = {}
    header['user-agent'] =  choice(Configure.FakeUserAgents)
    header['referer'] = 'https://www.xiami.com/play?ids=/song/playlist/id/1796032423/object_name/default/object_id/0'

    payload = {
        '_ksTS':'{0:d}_428'.format(int(time.time()*1000)), 
        'callback':'jsonp_429'
    }

    try:    
        response = requests.get(url2, headers=header, params=payload, cookies=cookies)
        content = None
        
        if response.status_code == requests.codes.ok:
            content = response.text
            
    except Exception as e:
        print (e)
    
    data = json.loads(content[11:][:-1])
    tracklists = data.get('data').get('trackList')
    ctx = execjs.compile(jsstr)

    res = []
    for track in tracklists:
        tmp = {}
        tmp['songName'] = track.get('songName')
        tmp['singers'] = track.get('singers')
        tmp['location'] = "http:"+ ctx.call('getLocation',  track.get('location'))
        res.append(tmp)

    return res

def DownloadSong(SongURLs):
    if not os.path.exists("Download"):
        os.makedirs("Download")

    for songurl in SongURLs:
        req = requests.get(songurl.get('location'))
        filename = "{0:s}-{1:s}.mp3".format(songurl.get('songName'), songurl.get('singers'))
        with open("Download/"+filename, 'wb') as file:    
            file.write(req.content)
        print ("Download {0:s} Successfully.".format(filename)) 


if __name__ == '__main__':
    ids = getPlaylist()
    for list_id in ids:
        res = getSongLocation(list_id)
        DownloadSong(res)