爬虫基本原理讲解
什么是爬虫？
请求网站并提取数据的自动化程序
提前需要安装的相关库
(base) Cheng-MacBook-Pro:~ chelsea$ pip install requests selenium beautifulsoup4 pyquery pymysql pymongo redis flask django jupyter
Installing collected packages: selenium, soupsieve, beautifulsoup4, pyquery, pymysql, pymongo, redis, itsdangerous, Werkzeug, MarkupSafe, Jinja2, click, flask, sqlparse, asgiref, pytz, django, decorator, ipython-genutils, traitlets, defusedxml, webencodings, pyparsing, packaging, bleach, jupyter-core, pyrsistent, jsonschema, nbformat, pandocfilters, entrypoints, mistune, pygments, testpath, nbconvert, wcwidth, prompt-toolkit, appnope, parso, jedi, backcall, pickleshare, ptyprocess, pexpect, ipython, Send2Trash, tornado, pyzmq, python-dateutil, jupyter-client, ipykernel, prometheus-client, terminado, notebook, widgetsnbextension, ipywidgets, jupyter-console, qtpy, qtconsole, jupyter
Successfully installed Jinja2-2.11.2 MarkupSafe-1.1.1 Send2Trash-1.5.0 Werkzeug-1.0.1 appnope-0.1.0 asgiref-3.2.7 backcall-0.1.0 beautifulsoup4-4.9.1 bleach-3.1.5 click-7.1.2 decorator-4.4.2 defusedxml-0.6.0 django-3.0.6 entrypoints-0.3 flask-1.1.2 ipykernel-5.3.0 ipython-7.14.0 ipython-genutils-0.2.0 ipywidgets-7.5.1 itsdangerous-1.1.0 jedi-0.17.0 jsonschema-3.2.0 jupyter-1.0.0 jupyter-client-6.1.3 jupyter-console-6.1.0 jupyter-core-4.6.3 mistune-0.8.4 nbconvert-5.6.1 nbformat-5.0.6 notebook-6.0.3 packaging-20.4 pandocfilters-1.4.2 parso-0.7.0 pexpect-4.8.0 pickleshare-0.7.5 prometheus-client-0.7.1 prompt-toolkit-3.0.5 ptyprocess-0.6.0 pygments-2.6.1 pymongo-3.10.1 pymysql-0.9.3 pyparsing-2.4.7 pyquery-1.4.1 pyrsistent-0.16.0 python-dateutil-2.8.1 pytz-2020.1 pyzmq-19.0.1 qtconsole-4.7.4 qtpy-1.9.0 redis-3.5.2 selenium-3.141.0 soupsieve-2.0.1 sqlparse-0.3.1 terminado-0.8.3 testpath-0.4.4 tornado-6.0.4 traitlets-4.3.3 wcwidth-0.1.9 webencodings-0.5.1 widgetsnbextension-3.5.1
(base) Cheng-MacBook-Pro:~ chelsea$ pip install lxml
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Requirement already satisfied: lxml in ./miniconda3/lib/python3.7/site-packages (4.5.1)
phantomjs无界面弹出
lxml库是提供了xpath解析方式
在安装这些库的过程中，如果遇到网络不好的情况，可以在库的下载页面找到
.whl文件用pip安装，前提是已经安装了wheel库（pip install wheel）。安装方法pip install 全路径+文件。
beautifulsoup也是一个页面解析库，它是依赖于lxml库的
pyquery是一个比beautifulsoup更方便的页面解析库，和jquery解析库一样。
存储库
pymysql（python2中为mysql python）操作mysql数据库的一个库
pymongo是操作mongodb的一个库，mongodb里面存储一些key:value，键值对。
redis类似于pymongo的存储模式，用在分布式爬虫，用来爬队列的一个工具，效率较高。
flaskweb库，用于代理存储
django外部服务器框架，提供后台管理，可以用来做网站。用来做分布式爬虫的维护。
jupyter运行在网页上的一个记事本，可以写代码，调试，可在线运行，还支持markdown语法，和rmarkdown类似。jupyter是依赖于ipython。
爬虫基本流程
发起请求
通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器响应。
解析内容
得到的内容可能是HTML，可以用正则表达式、网页解析库进行解析。可能是Json，可以直接转为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理。
获取响应内容
如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能有HTML，Json字符串，二进制数据（如图片视频）等类型。
保存数据
保存形式多样，可以存为文本，也可以保存至数据库，或者保存特定格式的文件。
什么是Request和Response?
- （1）浏览器就发送消息给该网址所在的服务器，这个过程叫做
HTTP Request。 - （2）服务器收到浏览器发送的消息后，能够根据浏览器发送消息的内容，做相应处理，然后把消息回传给浏览器。这个过程叫做
HTTP Response。 - （3）浏览器收到服务器的
Response信息后，会对信息进行相应处理，然后展示。
Request中包含什么？
请求方式
主要有GET、POST两种类型，另外还有HEAD、PUT、DELETE、OPTIONS等。
请求头
包含请求时的头部信息，如User-Agent、Host、Cookies等信息。有些网页信息的抓取如果不设置请求头信息，则可能被认为是非法请求，获取不到任何信息。
请求URL
URL全称统一资源定位符，如一个网页文档、一张图片、一个视频等都可以用URL唯一来确定。
请求体
请求时额外携带的数据,如表单提交时的表单数据(登陆信息)。一般来说get方法获取数据的时候没有这块内容，但是post方法获取数据的时候才有。
Response中包含什么？
响应状态
有多种响应状态，如200代表成功、301跳转、404找不到页面、502服务器错误
响应头
如内容类型、内容长度、服务器信息、设置Cookie等等。
响应体
最主要的部分，包含了请求资源的内容，如网页HTML、图片二进制数据等。
能抓怎样的数据？
网页文本
如HTML文档、Json格式文本等。
图片
获取到的是二进制文件，保存为图片格式。
视频
同为二进制文件，保存为视频格式即可。
其他
只要是能请求到的，都能获取。
怎样来解析？
解析方式
- 直接处理
- Json解析
- 正则表达式
- BeautifulSoup
- PyQuery
- XPath
为什么我抓到的和浏览器看到的不一样？
怎样解决JavaScript渲染的问题？
- 分析Ajax请求
- Selenium/WebDriver
- Splash
- PyV8、Ghost.py
Selenium/WebDriver，Splash库可以模拟JavaScript渲染
可以怎样保存数据？
文本
纯文本、Json、Xml等。
关系型数据库
如MySQL、Oracle、SQL Server等具有结构化表结构形式存储。
非关系型数据库
如MongoDB、Redis等Key-Value形式存储。
二进制文件
如图片、视频、音频等等直接保存成特定格式即可。
网友评论