1. python3的安装
- 官网地址: http://python.org
- 下载地址: https://www.python.org/downloads
- 第三方库: https://pypi.python.org/3
1.1 windows下安装
有两种方法
- 通过Anaconda安装，官方下载地址为https://www.continuum.io/downloads 选择python3版本进行下载
- 通过安装包直接进行安装，因为安装包中含有pip.exe,可以通过pip3 -V验证是否安装成功
1.2 Linux下安装
Ubuntu中安装命令 sudo apt-get install -y python3
pip3的安装命令 sudo apt-get install -y python3-pip
2. 请求库安装
2.1. requests的安装
2.1.1 相关链接进行安装
- GitHub: https://github.com/requests/requests
- PyPI: https://pipy.python.org/pypi/requests
- 官方文档: https://www.python-requests.org
- 中文文档: https://docs.python-requests.org/zh_CN/latest
2.1.2 使用pip进行安装
无论在Windows,Linux 还是在 Mac 中，都可以通过pip进行安装
pip install requests
这是最简单有效的方式，一般我们都使用这种方法
2.1.3 验证方法
需要先进入python的环境里，输入import requests
2.2 Selenium的安装
Selenium是一个自动化安装工具，利用它我们可以驱动浏览器执行特定的动作，列如：点击、下拉等操作，对一些Javascript渲染的界面来说，这种抓取方式非常有效。
2.2.1 相关链接进行安装
- 官方网站：http://www.seleniumhq.org
- Github: https://github.com/SeleniumHQ/selenium/tree/master/py
- PyPI: https://pypi.python.org/pypi/selenium
- 官方文档：https://selenium-python.readthedocs.io
- 中文文档：https://selenium-python-zh.readthedocs.io
2.2.2 pip进行安装
pip install selenium 这里推荐使用pip进行安装
2.2.3 验证方法
需要先进入python的环境里，输入import selenium
3.解析库安装
抓取网页代码之后，下一步就是从网页中提取信息。提取信息的方式有很多种，可以使用正则表达式进行提取，但是提取过程过于繁琐，我们可以可以使用强大的解析库，如：lxml、BeautifulSoup、pyquery等。此外，还提供了非常强大的解析方法，如XPath解析和CSS选择器解析等，通过他们我们可以快速获取我们需要的信息。
3.1 lxml的安装
lxml是python的一个强大的解析库，支持HTML和XML的解析，支持XPath的解析，而且解析效率特别高。
3.1.1 相关链接进行安装
- 官方文档： http://lxml.de
- Github: https://github.com/lxml/lxml
- PyPI: https://pypi.python.org/pypi/lxml
3.1.2 Windows 下的安装
pip install lxml
如果出现错误，比如提示出现libxml2库等信息，可以采用wheel方法安装
3.1.3 Linux 下的安装
pip install lxml
3.1.4 Max下的安装
pip install lxml
如果产生错误，可以执行如下命令将必要的类库安装
xcode-select --install
然后重试pip的安装命令，就可以了
3.1.5 验证安装
需要先进入python的环境里，输入import lxml
3.2 BeautifulSoup的安装
Beautiful Soup 是 Python 的一个HTML或XML的解析库，我们可以用它来方便的从网页中提取数据。它拥有API和多样的解析方式
3.2.1 相关链接进行安装
- 官方文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc
- 中文文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh
- PyPI: https://pypi.python.org/pypi/beautifulsoup4
3.2.2 准备工作
Beautiful Soup的HTML和XML解析器是依赖于lxml库的，所以之前请确保已成功安装好了lxml库
3.2.3 pip安装
目前，BesutifulSoup的最新版本是4.x版本，之前版本都已停止开发了，这里推荐使用pip进行安装
pip install besutifulsoup4
3.2.4 验证安装
需要先进入python的环境里，输入import bs4
网友评论