美文网首页
2019-11-07

2019-11-07

作者: Alxof | 来源:发表于2019-11-07 23:04 被阅读0次

我们了解了 ChromeDriver的配置方法,配置完成之后便可以用 Selenium驱动 Chrome

浏览器来做相应网页的抓取。

1、确认ChromeDriver与Chrome版本对应关系

https://www.cnblogs.com/wuhl-89/p/9453885.html

2、下载对应ChromeDriver版本

http://npm.taobao.org/mirrors/chromedriver/2.32/

3、按书中校验是否安装成功

sudo mv chromedriver /usr/bin

但是会报错,mv: rename chromedriver to /usr/bin/chromedriver: Operation not permitted

但是没关系

chromedriver --version校验

或者使用python3登入

from selenium import webdriver

browser = webdriver.Chrome()

弹出chrome窗口即可用

aiohttp就是这样一个提供异步Web服务的库,从Python3.5版本开始,Python中加入了 async/await关键字,使得回调的写法更加直观和人性化。 aiohttp的异步操作借助于 async/await 关键字的写法变得更加简情,架构更加清晰。 使用异步请求库进行数据抓取时, 会大大提高效率,

在后面的实例中用到这个库,比如维护一个代理池时,利用异步方式检测大量代理的运行

状况,会极大地提升效率 。

P1.3解析库安装

相关文章

网友评论

      本文标题:2019-11-07

      本文链接:https://www.haomeiwen.com/subject/gcubbctx.html