selenium +phantomjs 爬取网易云音乐的评论信息

1.前言

网易云音乐的网页端与服务端通讯做了加密，本人才疏学浅破解不了，于是考虑用
selenium +phantomjs的方式爬取，selenium 用pip install selenium 安装
phantomjs 官网下载安装包即可，Python版本为3.6，用了mysql数据库，环境为win7 不过理论上linux mac也可以跑

2.爬取思路

点开一首歌的页面，这首歌的评论也会出现在页面下方，当然通常情况下一页是加载不完的，所以得通过模拟点击下一页的方式一页一页的捞评论，因为只是爬取数据顺便学习下，只爬取了用户id，用户昵称，建立了一个 userid nickname music 构成的mysql表，同时将爬取并且通过selenium 解析出来的页面信息缓存到本地，以后也许会有用的上的地方

3.几个关键点

在爬取过程中有几个点需要注意

• 1.selenium +phantomjs 解析页面时，如果页面上用到了iframe，需要switch_to.frame()的方式切换到对应的iframe，否则可能会导致查找不到需要的 element
• 2.页面上有异步的ajax请求时，最好在做操作后等待一会再查找element，否则有可能找不到数据
• 3.有的操作是让页面重新走了下ajax请求如点击下一页，这个时候页面不需要重新加载url地址，有些则需要，比如这首歌的评论我爬完了，爬取下一首

4.结合代码讲解下

代码一个是操作数据的sqlinstance.py 一个是主程序 spider_main.py
sqlinstance 用了sqlalchemy框架，目前只有一张表用于记录用户和歌曲的评论关系，
代码如下

from sqlalchemy import create_engine, text, Column, Integer, String, Sequence, \
    Date, UniqueConstraint, BigInteger
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker

Base = declarative_base()


class MusicCmt(Base):
    __tablename__ = "t_musiccmts"
    id=Column(Integer,primary_key=True,autoincrement=True)
    userid = Column(BigInteger)
    nickname=Column(String(20),nullable=False)
    musicid = Column(BigInteger, nullable=False)
    __table_args__ = (UniqueConstraint('nickname', 'musicid'),
                      )

# 建立连接
engine = create_engine('mysql+pymysql://pig:123456@localhost:3306/cloudmusic?charset=utf8'
                       ,encoding='utf-8',echo=False,pool_size=50, pool_recycle=3600)
DBSession = sessionmaker(bind=engine)
# 通过代码创建数据库
try:
    MusicCmt.__table__.create(engine)
except Exception as e :
    print(e)
    pass


class SqlInstance:
    def addmark(self,**kwargs):

        session = DBSession()
        try:
            # 插入一条数据
            session.add(
                MusicCmt(userid=kwargs['userid'], musicid=kwargs['musicid'],nickname=kwargs["nickname"]))
            session.commit()
        except Exception as e:
            print(e)
            pass
        session.close()
sqlInstance=SqlInstance()

代码看完 基本的sqlalchemy 建立mysql数据表并插入数据的操作就可以做了，其他复杂操作可以查官网，这里我也不多说了

接下来是主程序了，因为元素定位是用来很多xpath的语法，不熟悉的同学最好先看下语法，然后自己打开一个网易云音乐的页面，用Chrome的检查元素，再通过xpath查询的方式定位element ，可以验证下代码和xpath语法

主程序代码如下

import os
import re
import time
from selenium import webdriver
from selenium.webdriver import DesiredCapabilities
import configparser

import sqlinstance
# 将目标musicid存到了一个文件里面，这个如果要做大的话可以动态获得
config = configparser.ConfigParser()
config.read('myselectMusic.ini')
musiclist= config['nemusic']['id'].split(",")
# //PHANTOMJS自定义userAgent，避免被反爬
dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = (
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"
)

driver = webdriver.PhantomJS(desired_capabilities=dcap)
# 设置一个很长的网页加载数据，省的有些情况还得滚动页面
driver.set_window_size(1920,5000)

for musicid in musiclist:
    # 加载歌曲第一页
    driver.get("http://music.163.com/#/song?id=%s" % (musicid))
    # 等待网页ajax 请求完成
    time.sleep(1)
    ele = driver.find_element_by_class_name("g-iframe")
    # print(ele)
    # 页面里面有iframe嵌套，如果要定位的元素iframe里面
    # 必须切换，否则会查找不到
    driver.switch_to.frame(ele)

    pagenum=1
    # 查看下已经爬取了多少页，
    # 避免重复操作
    savedfiles = os.listdir("saves")
    thissaved = [a for a in
                 savedfiles if
                 a.startswith(musicid) and a.count("final")>0]
    if(len(thissaved)>0):
        continue
    maxpage=0
    try:
        thissaved = [int(a.replace(musicid + "_", "").replace(r".txt", "")) for a in savedfiles if
                     a.startswith(musicid)]
    except:
        maxpage == "final"
        pass
    if maxpage and maxpage == "final":
        continue
    if len(thissaved)>0:
        maxpage = sorted(thissaved, reverse=True)[0]
    else:
        maxpage=0

    maxpage=int(maxpage)
    if maxpage>0:
        current_is_end=False
        while True:
            # 这个xpath是查找页面底部的 1.2,3 。。。这些的翻页element
            # 点击就是跳的目标页了
            # 网易云音乐的布局是 最后一个是跳转下一页，倒数第二个是跳转最后一页
            # ，倒数第二个是翻一个大页面，如1-10 点了下就变成3-13 这种
            pagejumps = driver.find_elements_by_xpath(
                "//div[contains(@class,'u-page')]/a")
            target=[ a for a in pagejumps if a.text==str(int(maxpage)+1)]
            if target:
                pagenum = maxpage+1
                target[0].click()
                time.sleep(1)
                break
            else:
                pagejumps[-3].click()
                time.sleep(1)
    while True:
        # 这个xpath就是找到当前页面的所有评论的用户昵称
        cmts=driver.find_elements_by_xpath("//div[@class='cnt f-brk']/a[@class='s-fc7']")
# print(len(kk))
        if len(cmts)>0:
            for aelemnt in cmts:
                urluid=aelemnt.get_attribute("href")
                print("nikename:%s url%s" %(aelemnt.text,aelemnt.get_attribute("href")))
                try:
                    # 从点击昵称的跳转链接正则解析出用户uid
                    saveuid=re.findall(r"id=(\d+)",urluid)[0]
                except:
                    saveuid=None
                    pass
                # 数据存入数据库
                sqlinstance.sqlInstance.addmark(userid=saveuid, musicid=musicid,nickname=aelemnt.text)
        # 找到页面上的下一页按钮
        nextpagebtn=driver.find_element_by_xpath("//div[contains(@class,'u-page')]/a[text()='下一页']")
        str = driver.find_element_by_xpath("//html").get_attribute("innerHTML")
        # 判断当前页是否为最后一页
        if "js-disable" in nextpagebtn.get_attribute("class"):
            print("最后一页")
            # 缓存下爬取的数据
            with open("saves/%s_%s.txt" % (musicid, "final"), "w",encoding='utf-8') as f:
                f.write(str)
            break
        else:
            nextpagebtn.click()
            with open("saves/%s_%s.txt" % (musicid, pagenum), "w",encoding='utf-8') as f:
                f.write(str)
            pagenum += 1
            time.sleep(2)

# 退出浏览器别忘了
driver.quit()

然后直接Python 跑下就好了,效果如图所示

效果如图