美文网首页
python3+selenium爬取网站数据

python3+selenium爬取网站数据

作者: 爱斯基摩白 | 来源:发表于2020-11-18 09:42 被阅读0次

电脑环境:

image.png
Python下载:
https://www.python.org/downloads/release/python-383/
3.X.X需要下载windows XXX executable installer
image.png
  1. 下载完成后打开,这里我下载的是3.8.3


    image.png

    pip 安装与使用
    Python 2.7.9 + 或 Python 3.4+ 以上版本都自带 pip 工具。
    可以通过以下命令来判断是否已安装:
    pip3 --version # Python3.x 版本命令
    经过测试2.0的版本命令也是可以用的
    pip --version # Python2.x 版本命令


    image.png
    安装第三方库
    在进行爬取数据和解析数据前,需要在Python运行环境中下载安装第三方库requests。

    需要先升级pip,否则会出现下图的报错
    python -m pip install --upgrade pip


    image.png
    pip install requests
    在Windows系统中,打开cmd界面,在该界面输入pip install requests,按回车键进行安装。
    pip3 install pandas
    pip3 install numpy
    pip3 install bs4
    pip3 install lxml
    比较省事的办法是安装Anaconda套装
    这里安装的,是一个优秀的 Python 软件包管理工具 pipenv

输入代码
我直接使用了自带的IDLE工具
首先执行:
pip install pipenv
安装后,请执行
pipenv install
pip3 install jupyter
此处请确认你的电脑上已经安装了 Google Chrome 浏览器。
pipenv shell


image.png

jupyter notebook


image.png

选择new python3

运行python文件
python D:\code\crawlInfo.py
需要注意的一点python代码一定要顶格写
selenium安装
pip3 install selenium
下载与chrome版本匹配的chromedriver
http://chromedriver.storage.googleapis.com/index.html
我的版本是87.0.4280.66

image.png

http://chromedriver.storage.googleapis.com/index.html?path=86.0.4240.22/
配置
解压压缩包,找到chromedriver.exe复制到chrome的安装目录(其实也可以随便放一个文件夹)。

相关文章

  • python3+selenium爬取网站数据

    电脑环境: Python下载: 3.X.X需要下载windows XXX executable installer...

  • 爬虫入门01-获取网络数据的原理作业

    作业: 要爬取的数据类别 对应的数据源网站 爬取数据的URL 数据筛选规则 我的答案是这样的: 要爬取的数据是豆瓣...

  • 电影天堂爬虫

    爬取网站网址:https://www.dytt8.net/ 爬取内容:电影详情数据

  • 爬虫实战之Scrapy模拟登陆

    想爬取网站数据?先登录网站!对于大多数大型网站来说,想要爬取他们的数据,第一道门槛就是登录网站。下面请跟随我的步伐...

  • 爬虫入门01作业

    课堂作业 要爬取的数据类别 对应的数据源网站 爬取数据的URL 数据筛选规则(选做) 要爬取的数据类型 我对金融行...

  • 强大的爬虫利器scrapy(介绍与安装)!

    scrapy简介: scrapy是一个爬取较高水平网站的数据抓框架,用于爬取网站跟从它们的页面提取数据,并且用途范...

  • scrapy中间件实现增量爬虫

    前言 scrapy爬取网站数据的时候,一般第一次爬取为全量爬取,以后需要的都是增量爬取,或者爬取中断之后需要继续爬...

  • Scrapy爬取数据初识

    Scrapy爬取数据初识 初窥Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 ...

  • Scrapy 学习笔记 -- 解决分页爬取的问题

    Scrapy 是专门用来爬取网站数据的应用框架。爬取一个网站的数据,无非是从一个地方开始,拿到链接,读取页面,分析...

  • 行业垂直搜索引擎的构建

    1 项目的功能 爬取新闻(爬取网站可配置,精准爬取需要内容); 抽取新闻内容,存入数据库(精准抽取); 建立索引(...

网友评论

      本文标题:python3+selenium爬取网站数据

      本文链接:https://www.haomeiwen.com/subject/keatiktx.html