场景
因为项目中在爬今日头条的时候,基于破解今日头条的验签跟cp等参数难度大,不得不转向selenium库
Linux下安装Selenium
这里主要是记录下在Linux下Python3环境中的selenium与phantomjs的安装,上一篇已经说道在Linux下进行Python3与scrapy框架的安装
(一)依赖包安装
sudo yum install build-essential g++ flex bison gperf ruby perl libsqlite3-dev libfontconfig1-dev libicu-dev libfreetype6 libssl-dev libpng-dev libjpeg-dev python libx11-dev libxext-dev
(二)PhantomJS下载
1)使用wget命令下载:
wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2
2)解压并且创建软链接
tar -xvjf phantomjs-2.1.1-linux-x86_64.tar.bz2
sudo cp -R phantomjs-2.1.1-linux-x86_64 /usr/local/share/
sudo ln -sf /usr/local/share/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin/
(三)Selenium的安装
直接使用Pip3 命令:
pip3 install selenium
验证selenium与phantomjs是否成功安装
1)Linux 下创建一个新文件命名为test.py里面写入以下代码:
from selenium import webdriver
driver = webdriver.PhantomJS()
driver.get('http://www.baidu.com/')
print driver.page_source
2)运行:
python3 test.py
3)输出:
有数据
有数据就代表着安装成功了。
总结
方法对了,就不会觉得问题变得有多难了,首先是要找到解决问题的最佳办法。
网友评论