网络爬虫概述

网络爬虫又被称为网页蜘蛛、网络机器人，有时也被称为网页追逐者，是一种按照一定的规则，自动地抓取互联网上网页中相应信息（文本、图片等）的程序或脚本，然后把抓取的信息存储到自己的计算机上。简单来说，爬虫就是抓取目标网站内容的工具，一般是根据定义的行为自动进行抓取，更智能的爬虫会自动分析目标网站结构，类似于搜索引擎的爬虫。
从功能上来讲，网络爬虫一般分为数据采集、处理、存储3个部分。它的基本工作流程如下：

1. 选取具有代表性的部分网址作为种子URL。
2. 将这些种子URL放入待抓取URL队列。
3. 从待抓取URL队列中取出其他的待抓取的URL，经过解析得到对应的主机的IP，然后将该地址对应的网页下载下来，存储到已下载网页库中。
4. 把这些已经抓取过网页的URL放进已抓取URL队列。
5. 分析已抓取URL队列中的URL，分析其中含有的其他URL地址，并且将这些URL地址放入待抓取URL队列。
6. 返回步骤3,重复进行步骤3、4,直到待抓取URL队列为空，或者满足设置的其他结束条件。

网络爬虫原理

网络爬虫系统的功能是下载网页数据，为搜索引擎系统提供数据来源。很多大型的网络搜索引擎系统都是从网络上抓取数据进行二次分析，如人们日常生活中经常使用的百度等搜索网站。
网络爬虫系统一般会选择一些网页中含有较多超链接的较大网站作为种子URL集合。网络爬虫系统以这些种子集合作为初始URL，开始数据的抓取。因为这些网页中一般还含有其他超链接信息，所以会从这些网页提取其他的链接信息形成一些新的URL。我们可以把网页之间的链接信息的结构看成一个森林，每个种子URL对应的网页是森林中的一棵树的根节点。正是因为这种采集过程像一个爬虫或蜘蛛在网络上漫游，所以它才被称为网络爬虫系统或网络蜘蛛系统，在英文中称为Spider或Crawler。
Web网络爬虫系统首先将种子URL放入下载队列，然后简单地从队首取出一个URL下载其对应的网页。得到网页的内容将其存储后，再经过解析网页中的链接信息可以得到一些新的URL，将这些URL加入下载队列。然后取出一个URL，对其对应的网页进行下载，再解析，如此反复进行，知道遍历了整个网络或满足某种条件后才会停止下来。
网络爬虫的系统框架主要由控制器、解析器、资源库三部分组成。

• 控制器：主要负责根据系统传过来的URL链接，分配线程，然后启动线程调用爬虫抓取网页的过程。
• 解析器：负责网络爬虫的主要部份，其负责的工作主要有下载网页的功能、对网页的文本进行处理（如过滤功能，将一些JS脚本标签、CSS代码内容、空格字符、HTML标签等内容处理掉）、抽取特殊HTML标签、分析数据。
• 资源库：主要是用来存储网页中下载的数据记录的容器，并提供生成索引的目标源。大中型的数据库产品有Oracle、Sql Server等。

爬虫分类

网络爬虫按照系统结构和实现技术，大致可以分为传统爬虫、通用网络爬虫、聚焦网络爬虫等几种类型。

1. 传统爬虫从一个或若干初始网页的URL开始，获取初始网页上的URL，在抓取网页的过程中，不断从当前页面中抽取新的URL放入队列，直到满足系统的一定停止条件。
2. 聚焦网络爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存储，进行一定的分析、过滤，并建立索引，一边之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
3. 通用网络爬虫又称全网爬虫，爬行对象从一些种子URL扩充到整个web，主要为门户站点搜索引擎和大型web服务提供商采集数据。这类网络爬虫的爬行范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低，同时由于待刷新的页面太多，通常采用并行工作方式，但需要较长时间才能刷新一次页面。虽然存在一定缺陷，但通过网络爬虫适用于为搜索引擎搜索广泛的主题，有较强的应用价值。