python 利用phantomJS和selenium爬取动态网

在利用urllib进行网页爬取的时候，由于很多网页都是js动态生成的，因此抓取到的网页存在信息没有加载成功，比如一个搜索网页没有加载搜索结果。

利用phantomJS和selenium模拟浏览器，从而能够一定程度上解决这个问题！

1. phantomJS和selenium的安装

phantomJS需要下载压缩包，直接打包即可。需要用到的是压缩路径里的./bin/phantomjs.exe, 我理解的是，里面应该有各种浏览器的驱动。

selenium的安装，可以通过pip install selenium直接安装

2. 代码

from bs4 import BeautifulSoup
from selenium import webdriver
import time
from urllib import request
import os
url = 'http://www.sse.com.cn/home/search/?webswd=%E6%8B%9B%E8%82%A1%E8%AF%B4%E6%98%8E%E4%B9%A6'
dir = '***\\pdf\\'
sleep_time = 10
driver = webdriver.PhantomJS(executable_path=r'F:\phantomjs_2_1_1\bin\phantomjs.exe')
driver.set_window_size(1920, 1080)

def parse(url):

    driver.get(url)
     ###等待网页加载完成
    time.sleep(sleep_time)

    page = BeautifulSoup(driver.page_source)
    while True:
        extract(page)

        ###需要注意
        driver.set_window_size(1920, 1080)
        ### 获取下一页
        next = driver.find_element_by_class_name('nextPage')
        next.click()
        if not next:
            break
        next.click()
        time.sleep(sleep_time)
        page = BeautifulSoup(driver.page_source)


def extract(page):
    list = page.find(id='sse_query_list')
    for a in list.find_all('a'):
        fileName = a['title'] + '.pdf'
        url= 'http://www.sse.com.cn' + a['href']
        d = os.path.join(dir, fileName)
        print(fileName, " ", d)
        print(url)
        request.urlretrieve(url, d)

3.几个比较坑的地方

1.driver.set_window_size(1920, 1080)
这个一定要尽可能大吧，应为涉及到从网页源码中解析一些元素，如果没有这句，可能元素所在超过屏幕大小，导致无法获取该元素，然后报错信息是：Element is not currently visible and may not be manipulated

2.time.sleep(10)
因为网页需要时间加载，所以在driver获取url后，需要让现成等待一段时间，让网页加载完成。否则获取的网页信息不全。

3.获取下一页