美文网首页测试框架
Centos6和Centos7的Selenium+Chromed

Centos6和Centos7的Selenium+Chromed

作者: 热血沸腾 | 来源:发表于2018-07-03 18:13 被阅读1449次

    Mac

    通过借助强大的brew

    brew install selenium
    brew install chromedriver
    

    Centos6

    6安装完成Chrome和ChromeDriver之后(看下面的步骤)
    测试时提示
    chromedriver: /lib64/libc.so.6: version GLIBC_2.14 not found (required by chromedriver)
    解决办法

    wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz
    tar zxvf glibc-2.14.tar.gz
    cd glibc-2.14
    mkdir build
    cd build
    ../configure --prefix=/opt/glibc-2.14
    make -j4
    sudo make install
    export LD_LIBRARY_PATH=/opt/glibc-2.14/lib
    

    再次运行试一试

    chromedriver
    

    输出诸如即为成功
    Starting ChromeDriver 2.40.565383 (76257d1ab79276b2d53ee976b2c3e3b9f335cde7) on port 9515 Only local connections are allowed. [1530767652.582][SEVERE]: CreatePlatformSocket() returned an error, errno=97: Address family not supported by protocol (97)

    Centos6.5默认的git版本是1.71这个就有点问题,当用ssh时会提示错误,报401错误。解决办法,最好是升级git到最新版本如 2.1.2版本。如下操作

    cd /usr/src
    wget https://www.kernel.org/pub/software/scm/git/git-2.1.2.tar.gz
    tar xzf git-2.1.2.tar.gz
    cd git-2.1.2
    make prefix=/usr/local/git all
    make prefix=/usr/local/git install
    echo "export PATH=$PATH:/usr/local/git/bin" >> /etc/bashrc
    source /etc/bashrc
    git --version
    输出 git version 2.1.2 说明正确安装
    

    Centos7

    这个坑非常之多
    下面是详细的解决步骤
    另外强烈建议使用Pyenv配置Python开发环境

    查看Linux的位数

    getconf LONG_BIT
    

    首先安装Google浏览器 选择66版本, 先下载后安装

    sudo yum install https://dl.google.com/linux/direct/google-chrome-stable-66.0.3359.181-1.x86_64.rpm
    
    
    

    查看输出信息

    Installed:
      google-chrome-stable.x86_64 0:66.0.3440.106-1 
    

    如果装太高的版本,比如71有可能报这个错,安装不成功,目前我没好的解决办法,不推荐

    Error: Package: google-chrome-stable-71.0.3578.98-1.x86_64 (/google-chrome-stable_current_x86_64)
               Requires: liberation-fonts
     You could try using --skip-broken to work around the problem
     You could try running: rpm -Va --nofiles --nodigest
    

    然后按照ChromeDriver 选择2.40(与参照表一致,不一致会出大问题)

    之后打开地址 https://chromedriver.storage.googleapis.com/index.html

    或者你的服务器可以连上VPN的话直接下载

    wget https://chromedriver.storage.googleapis.com/2.40/chromedriver_linux64.zip
    

    附录一张参照表

    ChromeDriver v2.40 (2018-06-07)----------Supports Chrome v66-68
    ChromeDriver v2.39 (2018-05-30)----------Supports Chrome v66-68
    ChromeDriver v2.38 (2018-04-17)----------Supports Chrome v65-67
    ChromeDriver v2.37 (2018-03-16)----------Supports Chrome v64-66
    ChromeDriver v2.36 (2018-03-02)----------Supports Chrome v63-65
    ChromeDriver v2.35 (2018-01-10)----------Supports Chrome v62-64
    

    我遇到的诸多坑,各种报错,启动不了Chrome,是因为用了较低版本的Chrome和ChromeDriver
    经过试验, 68版本和2.40版本的目前使用很稳定。

    开始解压缩安装, 移动

    unzip chromedriver_linux64.zip
    mv chromedriver /usr/bin/
    

    配置环境变量

    export PATH="$PATH:/usr/local/chromedriver"
    source ~/.bashrc
    

    最后验证

    chromedriver
    

    输出类似信息代表成功

    Starting ChromeDriver 2.40.565383 (76257d1ab79276b2d53ee976b2c3e3b9f335cde7) on port 9515
    Only local connections are allowed.
    

    代码设置

    chrome_options = webdriver.ChromeOptions()
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
    chrome_options.add_argument('--no-sandbox')
    prefs = {"profile.managed_default_content_settings.images": 2}
    chrome_options.add_experimental_option("prefs", prefs)
    browser = webdriver.Chrome(chrome_options=chrome_options)
    

    注意要加上 --no-sandbox
    另外如果你使用browser.close() 如果你的爬虫程序异常终止,比如你用Pycharm跑一个任务时,强制停止以后,打开shell键入

    ps aux | fgrep chromedriver
    

    会发现有未关闭的进程!我本机一度因为这个问题有上百个。但是机器内存大一直没发现。后来在1G内存的服务器(拨号服务器)上发现的问题。
    这么多进程,首先压要关掉,如果用 kill -9 pid 会非常麻烦 批量杀死进程名为chromedriver的如下命令

    ps -efww|grep LOCAL=chromedriver|grep -v grep|cut -c 9-15|xargs kill -9 
    

    回归正题,webdriver关闭使用quit即可阻止这个情况的发生。

    还有Python项目里如果自定义的module(一定会有的)
    记得在 .bashrc / .bash_profile / .zshrc 下配置环境变量 如

    export PYTHONPATH=~/WebdriverSpider    #你的工程目录
    

    否则会报错ModuleNotFoundError: No module named ' xxx ' 这个问题也是巨坑无比
    因为你平常都是在PyCharm内直接运行,它会把你的项目给加到PYTHONPATH里。但是你在linux上部署,是直接走的Python命令就会有问题!

    安装依赖的库

    pip install selenium
    pip install pymysql
    pip install chromedriver
    

    测试

    python  test.py
    报错
    Traceback (most recent call last):
      File "hc360_sku_list.py", line 3, in <module>
        import db.python_mysql as pm
    ModuleNotFoundError: No module named 'db'
    

    原因是要把工程的路径配置到环境变量里,否则python找不到

    vim .bashrc
    export PYTHONPATH="/root/python-projects/CFW_DATA_WEBDRIVER_SPIDER:/root/python-projects/CFW_DATA_SCRAPY_SPID
    ER"
    

    相关文章

      网友评论

        本文标题:Centos6和Centos7的Selenium+Chromed

        本文链接:https://www.haomeiwen.com/subject/zwnyyftx.html