大家好,今天介绍一下selenium的安装方法,为什么会介绍这个安装方法呢?在我们经常用的爬虫中,我们一般使用requests+beautifulsoup/lxml即可,爬取普通的静态网页就足够了,但是对于动态网页,含有隐藏部分需要点击才能打开的或者含有反爬技术的网站,简单的方法显然明显不够,那么,selenium就提供给我们了一个简单的方法---自动模拟人的点击,这样虽然就损失一些效率,但是足够我们爬取我们所需要的东西了,下面介绍一下它的安装教程供大家参考!!!下面以火狐浏览器为例:
第一步:
pip install selenium
第二步:
下载geckodriver,这个插件需要从网上下载,放在anaconda根目录下(第一层)
第三步:
在火狐上安装插件,Katalon Recorder
点击右上角菜单,然后添加组件,搜索添加即可,这个插件的目的是将你的点击转换成代码,这样就可以直接复制到你的python中然后运行。
表一
注:绿色的小标就是这个插件
第四步:
测试
(1)在所需要的网址上打开Katalon Recorder 然后点击record(注意先新建一个new,比如下图新建的“1”)
表二
(2)之后开始点击目标,会自动记录
(3)点击stop结束录制
(4)点击export即可以输出成python的代码,选取,复制到python中
注:我们选取python代码只需要选取一部分即可,如图:
表三
(5)根据点击到的页面上,可以添加代码下载我们需要的数据
(6)若含有需要输入密码也可以通过代码添加
代码如下:
from selenium import webdriver
driver = webdriver.Firefox()
driver = webdriver.Firefox()
driver.get("https://www.baidu.com/")
time.sleep(3)
driver.find_element_by_link_text("hao123").click()
time.sleep(3)
driver.find_element_by_link_text(u"淘 宝 网").click()
time.sleep(3)
driver.close()
以上就是简单的操作一些selenium打开网站的步骤,如果你需要输入用户名或者密码、隐藏显示操作都可以在网上找到并且具有相关的代码,我们打开相对应的网站就可以进行下一步的提取等操作了,谢谢大家!!!
网友评论