爬虫

#爬虫最基本的步骤：

1.寻找目标url，发起请求

2.获取请求的响应结果，分析相应结果

3.从响应结果中提取数据

a.第一部分，从网页中提取的目标数据

b.如果存在新的url地址，则提取，继续发起请求

爬虫结束：所有的目标url全部请求完毕，爬虫结束

数据的用途：

1.可以爬取数据，写自己的网站

2.搜索引擎

3.购物助手

4.日常数据的基本分析（知乎数据冰山专栏）

做爬虫并不只有python可以完成：

java php c/c++ switch ....

java:试python写爬虫的最大的竞争对手，java的发展周期长，生态圈都比较完善，也有很多第三方库的支持，java的代码量比较大，开发的成本比较高，后期维护也比较繁琐。（）

php：php曾经被叫做世界上最好的语言（一般用来做后端的），也可以用来写爬虫，但是对多任务的支持不太好，爬虫对效率要求比较高，所以一般不使用php写爬虫。

c/c++：比较偏向于底层的语言，代码的运行效率高，学习门槛非常高，代码成型比较慢。

python：代码简单易懂，并且对第三方的库也有很多，python自带的urllib网络请求模块，requests网络请求模块，网络解析库xpath，beautifulsoup4，pyquery等等，还有成熟高效稳定的爬虫框架scrapy（pyspider）等等，并且还支持分布式爬虫（scrapy-redis）框架

爬虫的分类（通用爬虫，聚焦爬虫）：

通用爬虫：是搜索引擎的重要组成部分

作用和目的：尽可能全的将互联网上所有的网页下载到本地，通过分词，去噪等进行预处理，处理后进行数据的持久化