python爬虫的最佳实践(五)--selenium+Phant

Ps：又到了我们的ps环节，不知道上次大家尝试的如何，这次我们将简单介绍如何使用selenium+PhantomJS来抓取异步加载的网页数据信息。当然，selenium是一个非常强大的自动化工具，可以做非常多的事，有兴趣的同学可以自行了解一下。

这次我们的顺序稍稍变化一下，因为牵扯到配置环境。

环境配置

• selenium
  pip install -U selenium
  建议采用pycharm安装，别忘了我们这个强大的IDE
• PhantomJS
  这个不同的操作系统有各自对应的版本，这是官网的下载页面http://phantomjs.org/download.html，去下载你对应操作系统版本的phantomjs.下载完后，解压缩可以看到在文件夹的bin目录下有对应的phantomjs的可执行文件，拷贝一份放入一个环境变量可以搜索到的地方，或者直接把phantomjs的bin目录加入环境变量即可~

简单介绍一下PhantomJS，这是一个基于webkit的没有界面的浏览器，也就是它可以像浏览器解析网页，功能非常强大。但是据我测试。。解析的结果不一定和火狐或者chrome完全一样，但是完全够我们用。
简单介绍一下selenium，这是一个web的自动测试工具，可以模拟人的操作。支持市面上几乎所有的主流浏览器，同时也支持PhantomJS这种无界面浏览器。

因为selenium+Firefox或者Chrome太慢了，所以我们选用selenium+PhantomJS。
想试试selenium+Firefox的同学直接下载最新版的Firefox即可，不需要插件，但是chrome的话需要一个插件叫chromedriver，我会放到群里，闲话不多说，gogogo！

代码预览

#coding:utf-8
import unittest
from selenium import webdriver
from bs4 import BeautifulSoup


class seleniumTest(unittest.TestCase):
    def setUp(self):
        self.driver = webdriver.PhantomJS()

    def testEle(self):
        driver = self.driver
        driver.get('http://www.douyu.com/directory/all')
        soup = BeautifulSoup(driver.page_source, 'xml')
        while True:
            titles = soup.find_all('h3', {'class': 'ellipsis'})
            nums = soup.find_all('span', {'class': 'dy-num fr'})
            for title, num in zip(titles, nums):
                print title.get_text(), num.get_text()
            if driver.page_source.find('shark-pager-disable-next') != -1:
                break
            elem = driver.find_element_by_class_name('shark-pager-next')
            elem.click()
            soup = BeautifulSoup(driver.page_source, 'xml')

    def tearDown(self):
        print 'down'

if __name__ == "__main__":
    unittest.main()

小伙伴们是不是惊奇的发现今天的代码怎么略不一样了~因为今天除了爬虫相关，顺道教大家一些python 的小知识~

代码剖析

import unittest
什么是unittest呢？看字面意思估计大部分人已经懂了，就是单元测试的意思，这个库是python自带的给我们提供测试用的库，很好用，今天我顺道介绍一下这个库的简单使用。
今天的这段代码是一个简单的测试用例
class seleniumTest(unittest.TestCase):
继承TestCase类，表明这是一个测试类。setup方法是初始化方法，在unittest的main方法调用之初执行，然后tearDown是在测试完成的时候执行，中间的每个方法必须以test开头。这是一些简单的规则，大概了解之后我们就可以开心的使用单元测试了~

def setUp(self):
      self.dirver = webdriver.PhantomJS()

首先在我们的setup方法中初始化我们的webdriver，如果你用的是pycharm就可以看到webdriver后面会有多种方法，可以创建火狐的，chrome等各种浏览器的webdriver。

初始化完成之后开始解析，今天我们抓取斗鱼tv的房间信息，用浏览器打开http://www.douyu.com/directory/all，然后选择查看网页源代码，发现竟然可以直接在源码中看到房间信息，心中一喜，难道不是异步的方式么？这太好抓了，直接requests请求然后分析就可以了啊。紧接着再点开第二页，查看网页源代码。发现竟然和第一页一模一样，顿时失望，依然是采用的js异步的方式来加载数据的，只不过这次返回的不是json格式而直接是html。难道我们需要像上一章那样么？nono，今天我们直接使用PhantomJS模拟浏览器的访问过程，然后通过dirver.get方法获取浏览器加载完成后的源码。这样子无论是否异步，我们取到的source都是和我们在浏览器中看到的完全一样。是不是感觉简便了很多呢？

dirver.get('http://www.douyu.com/directory/all')
soup = BeautifulSoup(dirver.page_source, 'xml')

这两句想必大家也能理解了，其实就是换了一种方式去获取到网页源码而已。这次连带js渲染出来的网页也都获取到了。接下来

 titles = soup.find_all('h3', {'class': 'ellipsis'})
 nums = soup.find_all('span', {'class': 'dy-num fr'})
 for title, num in zip(titles, nums):
      print title.get_text(), num.get_text()

这段代码是在源码中取出我们想要的信息，可能同学们也发现了，这和我们第三节讲的不太一样，这是因为我们的解析方式换成了xml而不是原本的lxml了，lxml属于一种更加高效的解析模式，但是我为什么要更换呢。因为在我写这段代码的时候发生了一个小插曲，原本我也是用lxml的方式去解析的，但是发现每次只能解析出来32条信息，但是很明显斗鱼每个小分页里最少都有100多个房间，我查看了driver返回的page_source，发现没有问题，于是我想可能是beautifulsoup的解析出了问题，打印soup，发现只有源代码的一半，后面一半莫名奇妙丢失了。原本我以为是网页中有多个</html>标签导致解析出错，后来发现也不是这个问题，百度google很久也没有结果，所以只能换一种解析模式，当我换成xml的时候发现解析无误。暂时我也不知道原因，有兴趣的同学可以尝试解决一下这个问题。

那么上面这段代码取出了我们需要的信息，beautifulsoup的find方法要是不了解的话可以参看官方文档。接下来：

elem = driver.find_element_by_class_name('shark-pager-next') 
elem.click() 
soup = BeautifulSoup(driver.page_source, 'xml')

第一行代码是webdriver里面带有的定位标签的方法，我们通过观察发现斗鱼页面中下一页这个标签只出现一次，并且是独立样式，所以我们直接通过class进行定位，取到这个控件，然后执行element的click()方法模拟鼠标点击，这样，页面就自动跳到了下一页，接着继续解析网页源码。

if driver.page_source.find('shark-pager-disable-next') != -1: 
      break

这段代码是跳出循环用的，什么时候跳出循环呢？我们通过观察发现，当到最后一页时候斗鱼下一页的标签就会变灰，如图所示：

于是，我们发现了有个唯一的shark-pager-disable-next样式，那么我们只需要在源码中找这个样式，如果有则说明已经解析到最后一页，直接跳出循环结束程序就好~

至此，今天的代码就讲解完毕了。有没有觉得比上次的观察法方便了很多呢？附带一提，有兴趣的通许可以吧今天代码中self.dirver = webdriver.PhantomJS()换成self.dirver = webdriver.Firefox()，看看会发生什么有趣的事情，我就不剧透了~

写在最后

惯例了，demo已经给你们了，也讲解完毕，现在需要你们自己实践了，去尝试抓取一下其他TV吧，推荐抓一下战旗，因为加载方式又和斗鱼完全不一样了，有挑战性点~下一节我们讲解如何在爬虫中使用多进程！

附加部分

一些seleium的小互动操作

• 填入表单数据

#coding:utf-8
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Firefox()
driver.get('https://www.baidu.com/')
elem = driver.find_element_by_id('kw')
elem.send_keys(u'爬虫')
elem.send_keys(Keys.RETURN)
print(driver.page_source)

• 滚动致页面最下方

#coding:utf-8
from selenium import webdriver
import time

driver = webdriver.Firefox()
driver.get('http://www.jianshu.com/collections')
time.sleep(1)
for i in range(10):
    dirver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
    time.sleep(1)

使用selenium模拟人的操作行为，这次换成了火狐浏览器，可以看得更加清楚~

有兴趣的同学可以加群498945822一起交流学习哦~~
发现问题的同学欢迎指正，直接说就行，不用留面子，博主脸皮厚