python爬虫一

一  什么是爬虫?

    网络爬虫（又被称为网页蜘蛛，网络机器人）, 是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

通俗的讲： 就是模拟客户端发起网络请求，接收请求的响应，按照一定的规则，自动的抓取互联网信息的程序。

原则上只要浏览器能够做的事情，爬虫都能够实现

二  关于Python爬虫，我们需要学习掌握的基本知识有：

    Python基础语法学习（基础知识）

静态页面，动态页面HTML页面源码的获取（数据抓取）

HTML页面的(非结构化)数据提取，结构化数据的提取（数据提取）

数据提取的持久化（文本、数据库）

Scrapy框架以及scrapy-redis分布式策略（第三方框架）

爬虫(Spider)、反爬虫(Anti-Spider)、反反爬虫(Anti-Anti-Spider)之间的斗争....

三  爬虫的基本流程

            1.分析网站，得到目标url

　　　2.根据url,发起请求,获取页面的HTML源码

　　　3.从页面源码中提取数据

　　　　　a.提取到目标数据,做数据的赛选和持久化存储

　　　　　b.从页面中提取到新的url地址,继续执行第二部操作

　　　4.爬虫结束：所有的目标url都提取完毕,并且得到数据了,再也没有其他请求任务了,这是意味着爬虫结束

四 urllib模块的使用

               urllib库的基本使用 所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 在Python中有很多库可以用来抓取网页，我们先学习urllib。         

我们会从下面三个方面讲解urllib:

    request: 它是最基本的HTTP请求模块，可以用来模拟发送请求，就像在浏览器中输入网址，然后敲击回车键一样，使用的时候只需要给库方法传入相关的URL和相关的参数即可．

    error: 异常处理模块，如果出现请求错误，我们可以使用这个模块来捕获异常，然后进行重试或者其他操作，保证程序不会意外终止．

    parse: 这是一个工具模块，提供了许多url的处理方法，比如拆分,解析,合并等等.

     

五  requests模块的使用

           Requests: 让 HTTP 服务人类

            虽然Python的标准库中 urllib 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 "HTTP for Humans"，说明使用更简洁方便。

            Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用：）

            Requests 继承了urllib的所有特性。Requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的URL和 POST 数据自动编码。

            requests 的底层实现其实就是 urllib

            Requests的文档非常完备，中文文档也相当不错。Requests能完全满足当前网络的需求，支持Python 2.6--3.5，而且能在PyPy下完美运行。

六  正则表达式

        正则表达式概述:正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：Regular Expression，在代码中常简写为regex、regexp或RE），是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些匹配某个模式的文本。

        Regular Expression的“Regular”一般被译为“正则”、“正规”、“常规”。此处的“Regular”即是“规则”、“规律”的意思，Regular Expression即“描述某种规则的表达式”之意。

        目的 给定一个正则表达式和另一个字符串，我们可以达到如下的目的：

                给定的字符串是否符合正则表达式的过滤逻辑（称作“匹配”）;

                可以通过正则表达式，从字符串中获取我们想要的特定部分。

    

    正则表达式的使用:

            在 Python 中，我们可以使用内置的 re 模块来使用正则表达式。 有一点需要特别注意的是，正则表达式使用 对特殊字符进行转义，所以如果我们要使用原始字符串，只需加一个 r 前缀，示例： re 模块的一般使用步骤如下：

            使用 compile() 函数将正则表达式的字符串形式编译为一个 Pattern 对象

            通过 Pattern 对象提供的一系列方法对文本进行匹配查找，获得匹配结果，一个 Match 对象。

            最后使用 Match 对象提供的属性和方法获得信息，根据需要进行其他的操作

七  XPath选择器

            XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。        

            XPath 开发工具 1.开源的XPath表达式编辑工具:XMLQuire(XML格式文件可用) 2.Chrome插件 XPath Helper 3.Firefox插件 XPath Checker

            选取节点 XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。