Selenium

Selenium封装了能够进行浏览器自动化的一系列工具和库的一款自动化工具。Selenium提供了遵守W3C WebDriver specification的一个平台，并且该平台提供了能与当前市面上几乎所有浏览器兼容的接口。如果需要使用SeleniumAPI控制浏览器，只需要定义 Selenium WebDriver并下载相应浏览器的驱动程序(executable)即可。需要注意的是，该驱动程序需要位于系统路径（PATH环境变量）下，这样Selenuim才可以找得到这个程序。同时我们需要保证该驱动程序属性是可执行文件（可以利用chmod a+x chromedriver修改）

因为其良好的兼容性，Selenium现在被广泛用作自动化前端测的工具，或者用于驱动一些复杂的爬虫程序。

在headless环境中运行Selenium webdriver

默认情况下，WebDriver将会自动启动一个浏览器然后在该浏览器中运行脚本中指定的步骤，最后退出。但这种情况要求我们一定要有GUI输出。如果我们希望在一个无GUI的环境（如一台linux服务器）中通过命令行来执行我们的脚本，则需要进行一定配置。

首先我们需要安装Firefox或者Chromium浏览器。

$ sudo apt-get update
$ sudo apt-get install chromium-browser

或者

$ sudo apt-get update
$ sudo apt-get install firefox

其次我们需要安装Selenium。

$ sudo pip install selenium

最后我们需要下载相应浏览器的driver驱动文件并将其放在PATH路径下。

方法1：使用Xvfb创建虚拟Xwindow输出

首先我们需要安装xvfb（X windows virtual frame buffer）。运行如下命令：

$ sudo apt-get update
$ sudo apt-get install xvfb

然后我们需要启动Xvfb并指定一个输出端口号（本例中为54321）。

$ Xvfb :54321 -ac &

接着我们指定上一步选定的输出端口号作为DISPLAY环境变量。

$ export DISPLAY=:54321

最后我们就可以测试浏览器是否可以正常运行。

$ firefox

或者

$ chromium-browser

如果浏览器能够正常运行，不报错，则说明我们已经配置好了，可以用Ctrl-C退出。

现在我们就可以正常运行我们的Selenium WebDriver脚本了（这个脚本的代码甚至不需要任何改变！）。该方法的优势正在于此。配置好Xvfb之后，我们可以在该headless服务器的环境中运行任何WebDriver。

下面是一个Python+Selenium WebDriver脚本的简单例子。

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

def get_redurection_chain(url):
    """
    Given a url, return the urls in redirection chain and the length of the redirection chain.
    The redirection chain will be checked using selenium driven chrome browser and retrieved from
    browser log.

    :param url: the url that will be checked.
    :return: (
        length of redirection chain,
        a list of the urls in the redirection ordered based on the sequence they are visited,
    )
    """
    # landing_urls record origins->url->other intermedia urls->final_url
    landing_urls = list()
    landing_urls.append(url)

    curr_url = url

    capabilities = DesiredCapabilities.CHROME
    capabilities['loggingPrefs'] = {
        'performance': 'ALL',
    }

    driver = webdriver.Chrome(
        desired_capabilities=capabilities,
    )

    driver.get(url)

    for log in driver.get_log('performance'):
        log_entry = json.loads(log['message'])

        if 'redirectResponse' not in log_entry['message']['params']:
            continue
        if log_entry['message']['params']['redirectResponse']['url'] == curr_url:
            redirect_url = log_entry['message']['params']['request']['url']
            landing_urls.append(redirect_url)
            curr_url = redirect_url

    driver.close()

    return len(landing_urls), landing_urls

if __name__ == '__main__':
    get_redurection_chain('http://facebook.com/')

方法2： 使用浏览器自带的headless模式运行

事实上，从去年以来，Chrome和Firefox都提供了headless运行的选项。这一举动对于像是PhantomJS这样的轻量级headless浏览器产生了极大的冲击。

以Chromium（或者Chrome）为例，要指定Selenium脚本使用headless模式运行浏览器，只需要增加option即可。如下面例子所示。

这一方法的优势在于不需要进行任何额外配置即可在无GUI环境中运行Selenium脚本。但缺点在于该方法依赖对应浏览器提供相应的headless模式。

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
options.add_argument('headless')

相应的，方法1例子中的程序将变为：

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities


def get_redurection_chain(url):
    """
    Given a url, return the urls in redirection chain and the length of the redirection chain.
    The redirection chain will be checked using selenium driven chrome browser and retrieved from
    browser log.

    :param url: the url that will be checked.
    :return: (
        length of redirection chain,
        a list of the urls in the redirection ordered based on the sequence they are visited,
    )
    """
    # landing_urls record origins->url->other intermedia urls->final_url
    landing_urls = list()
    landing_urls.append(url)

    curr_url = url

    capabilities = DesiredCapabilities.CHROME
    capabilities['loggingPrefs'] = {
        'performance': 'ALL',
    }

    options = webdriver.ChromeOptions()
    options.add_argument('--ignore-certificate-errors')
    options.add_argument('headless')

    driver = webdriver.Chrome(
        desired_capabilities=capabilities,
        chrome_options=options,
    )

    driver.get(url)

    for log in driver.get_log('performance'):
        log_entry = json.loads(log['message'])

        if 'redirectResponse' not in log_entry['message']['params']:
            continue
        if log_entry['message']['params']['redirectResponse']['url'] == curr_url:
            redirect_url = log_entry['message']['params']['request']['url']
            landing_urls.append(redirect_url)
            curr_url = redirect_url

    driver.close()

    return len(landing_urls), landing_urls

if __name__ == '__main__':
    get_redurection_chain('http://facebook.com/')