我们可以把互联网比作一张大网，而爬虫（即网络爬虫）便是在网上爬行的蜘蛛。把网的节点比作一个个网页，爬虫爬到的这就是相当于访问了该页面，获取了其信息。可以把节点间的连线比作网页与网页之间的链接关系，这样蜘蛛通过一个节点后，可以顺着节点连线继续爬行到下一个节点，即通过一个网页继续获取后续的网页，这样整个网的节点便可以被蜘蛛全部爬行到，网站的数据就可以被抓取下来。
爬虫概述
简单来说，爬虫就是获取网页并提取和保存信息的自动化程序。
获取网页
爬虫首先要做的就是获取网页，这里就是获取网页的源代码。源代码例包含了网页的部分有用信息，所有只要把源代码获取下来，就可以从中提取想要的信息了。
Python提供了许多库来帮助我们事先网页获取，如urllib、requests等。我们可以用这些库来帮助我们实现HTTP请求操作，请求和响应都可以用这些类库提供的数据结构表示，得到响应之后只需要解析数据结构中的Body部分即可，及得到网页的源代码，这样我们可以用程序来实现获取网页的过程了。
提取信息
获取了网页源代码后，接下来就是分析网页源代码，从中提取我们想要的数据。首先，最通用的方法就是采用正则表达式提取，这是一个万能的棒法，但是在构造正则表达式时比较复杂且容易出错。
另外，由于网页的结构有一定的规则，所以还有一些根据网页节点属性、CSS选择器或XPath来提取网页信息的库，如Beautiful Soup、pyquery、lxml等。使用这些库，我们可以高效快速地从中提取网页信息，如节点的属性、文本值等。
保存数据
提取信息后，我们一般会将提取到的数据保存到某处以便后续使用。这里保存形式有多种多样，如可以简单保存为TXT文本或JSON文本，也可以保存到数据库，如MySQL和MongoDB等，也可保存至远程服务器，如借助SFTP进行操作。
自动化程序
说到自动化程序，意思是说爬虫可以代替人来完成这些操作。首先，我们手工当然可以提取这些信息，但是当量特别大或者快速获取大量数据的画，肯定还是要借助程序。爬虫就是代替我们来完成这份爬取工作的自动化程序，它可以在抓取过程中进行各种异常处理、错误重试等操作，确保爬取持续高效地运行。
网友评论