第1章 介绍

1、 简单爬虫架构有3个模块：（这些模块怎样组装在一起完成整个爬取任务。这里简单的架构经过扩展可以爬取所有互联网网页）

URL管理器：用来管理将要抓取的URL和已经抓取过的URL两方面的内容。

网页下载器（urllib）：给定一个URL，需要将URL下载到本地以后才能进行分析。我们用Python自带的urllib

模块进行下载。

网页解析器（BeautifulSoup）：得到网页内容后，需要通过解析提取出我们想要感兴趣的东西。我们用Python的第三方插件BeautifulSoup进行网页解析。

2、案例：爬取百度百科Python词条相关的1000个页面数据，并以HTML

第2章 爬虫简介以及爬虫的技术价值

1、爬虫简介

2、爬虫意义：数据为我所用、去分析

第3章 简单爬虫架构

1、简单爬虫架构

爬虫调度端：启动爬虫，停止爬虫，或监视爬虫的运行情况。

URL管理器：管理已经抓取过得URL和将要抓取的URL（防止循环抓取和重复抓取），并从中取出一个待爬取的URL将其传送给网页下载器。

网页下载器：将指定网页内容下载为一个字符串，并将字符串传送给网页解析器进行解析。

网页解析器：解析出有价值的数据和获取该网页中指向其他网页的URL，将新获取的URL补充到URL管理器中。

2、简单爬虫架构的动态运行流程

用可视化展示流程——时序图

首先，调度器询问URL管理器有没有待爬取的URL，URL管理器向调度器返回是或否，若为是，则调度器从URL管理器中获取一个待爬URL，URL管理器将这个URL返回给调度器。然后调度器将这个URL传送给下载器，让下载器开始下载，下载完成后，下载器将URL内容返回给调度器。再然后调度器将URL内容传输给解析器进行解析，解析后，解析器返回有价值的数据和新URL列表两方面内容给调度器，一方面调度器将价值数据传给应用去收集价值数据，另一方面将新的URL列表补充给URL管理器，这时若URL管理器还有新的待爬取的URL，一直循环，直到爬取过所有没有爬取的URL为止。最后，调度器会调用我们需要的方法进行输出，将有价值的数据输出成我们需要的格式。

第4章 URL管理器和实现方法

1、URL管理器

管理两个集合：已经抓取过得URL集合和将要抓取的URL集合

每个网页都有很多指向其他网页的URL，其他网页的URL也会指向本网页。这样不同的URL之间存在一种循环指向的问题。不能形成死循环啊。所以要管理啊。

2、URL管理器需要支持如下功能

* 添加新URL到待爬取集合中；在添加的过程中判断是否已经存在在该URL容器中；如果是，则不能添加，以防止重复抓取。同时我们支持从容器中获取一个待爬取的URL；获取时需要判断容器中是否还有待爬取的URL；最后该URL被爬取后，我们需要将其从待爬取集合移动到已爬取集合。

2、URL管理器之实现方式3种：

（一）将已爬取或和待爬取的URL集合存放在内存中，用Python语言的话，可以将这两个URL集合放在set()数据结构中，因为Python的set结构可以自动去除重复的内容。

小型公司或个人使用“内存”

（二）将URL存放在关系数据库中，建立一个表，里面有两个字段（url，is_crawled），is_crawled字段标志这个URL的状态是待爬取还是已爬取。用一个表来存储待爬取和已爬取两个集合的数据

内存不够用或想要永久保存使用“关系数据库”

（三）将URL存放在一个缓存数据库中，比如redis，本身支持set的结构，所以我们可以将待爬取的和已爬取的URL存放在set中。

大型公司使用“缓存数据库”

第5章 网页下载器和urllib2模块

1、Python的网页下载器

urllib2(官方基础模块）（经验证python换成urllib）

requests（第三方包更强大）

2、urllib2下载器有以下三种下载方法：

①最简洁的方法：用urllib2的urlopen方法给定一个ur字符串，实现网页的下载，返回的内容会传送给response这个对象，然后用response的方法。对应代码如下：

②共享处理：添加http header向服务器提交http的头信息，添加data可以向服务器提交需要用户输入的数据，把以下3个参数，传给~request类，生成一个request对象。再用urlopen方法，用request做参数，发送网页请求。对应代码如下：

③添加特殊情景的处理器：

例：有的网页需要用户登录才能访问，我们就需要添加cookie的处理，我们使用HTTPCookieProcessor；有的网页需要代理才能访问，我们使用ProxyHandle；有的网页的协议是HTTPS加密访问的，我们使用HTTPSHandler；有的网页的URL是相互自动的跳转，我们使用HTTPRedirectHandler。

将这些handler传送给urllib2的bulid_opener方法来创建对象，我们给urllib2再install这个opener，这样这个urllib2就具有了处理这些场景的能力，然后依然并用urlopen方法来请求一个URL，或请求一个request实现网页的下载。

首先先创建容器用来存放数据

然后~processor用数据做参数，生成handler，在传给bulid_opener来生成opener对象

然后给管理器安装opener来增强它的处理器

用urlopen方法，返回request或URL来实现下载

3、在python3.7中的notebook练习上面3种方法：

第6章 网页解析器和BeautifulSoup第三方模块

1、网页解析器有4种

将整个网页文档下载为DOM树，以树的形式，来进行上下级的遍历和访问

2、我们这次用BeautifulSoup，先掌握其语法

主要有3步。根据下载好的Html网页字符串创建Beautiful Soup对象，创建的同时把整个文档的字符串下载成一个DOM树，根据树进行搜索节点，有两种方法（find_all,find），访问完节点，访问节点信息如：属性、名称、文字。

针对这样的链接怎样搜索呢？

如下：这3种方式可以对这个链接进行搜索和访问

bf这个模块有个强大的地方在于，对于节点的名称、属性和文字都可以传入一个正则表达式来匹配对应的内容。class为abc，为了避免与python里原本的关键字冲突，所以用了class_下划线。通过Find和find_all两种方法，可以搜索到DOM树的所有节点。得到节点后，

3、BeautifulSoup实例

python环境下自练

正则表达式内容参考学习1：http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html

第7章 实战演练：爬取百度百科1000个页面的数据

7.1、首先开发爬虫需要的整体框架

确定目标：我们要先确定抓取哪个网站的哪些网页的哪部分数据

分析目标：然后制定抓取网站的策略，有3部分要分析。

* URL格式：用来限定我们要抓取的页面的范围，如果范围不进行限定的话就会抓取很多不相关的网页，造成资源浪费。

* 数据格式：分析每个词条页面的信息，如标题和简介，这两个数据所在的标签的格式，数据格式在<h1>标签中。

* 网页编码：在代码解析器上指定网页的编码格式，然后才能进行正确的解析。

* 编写代码：词条页面URL不是一个完整的URL，所以需要在代码中补全。

* 执行爬虫：

7.2 制定策略（确定目标和分析目标）

以案例说明整个流程

确定目标：就是以百度百科Python词条为根，陆续爬下相关的1000个网页，这个阈值自然是可以调整的。都知道，在百度百科页面，很多关键词都是有链接的，链接到另一个网页上，可以搜索到更多的链接，就这样循环爬取，直到1000个为止。

分析目标：

* 首先主页面的URL是这个样子：

* 我们再看下相关词条页面的URL都是什么，相关词条——点击右键——审查元素——发现和主页面的URL相比，这是个不完整的URL，所以需要在代码中拼接完整。这就是我们得到的URL格式。

* 然后再看下要抓取的标题和简介的数据标签格式。标题或简介——点击右键——审查元素——找文本前面的class里的数据标签。在主页面的任意位置——点击右键——审查元素——双击head，看编码格式。

* 总结策略如下：

* 最后如果出现问题可能网站升级了，我们的策略也要变，爬虫代码也要改动。

7.3 编写代码(调度程序)

五个模块：

爬虫总调度程序  spider_main

url管理器      url_manage

网页下载器      html_downloader

网页解析器      html_parser

输出            html_outputer

之后更新具体代码和逻辑练习哦！

最后，借用一句古诗“路漫漫其修远兮，吾将上下而求索”

给自己坚持下去的远古气息~