网上资源很多，很多新手在学习的时候，不知道自己真的需要什么，找资料很费时间，我作为新手大军的一员，希望能写出一套我自己学习的过程。如果你在看，希望能缩短你找资料的时间。如果没人看，可以当做一个笔记，记录一下自己曾经学习的过程。

---

什么是爬虫：

        爬虫：简单说就是抓取网页数据的程序。

爬虫如何抓取网页数据：

        首先要知道网页都有自己唯一的URL，使用HTTP/HTTPS协议来传输HTML数据，使用HTML数据来描述页面信息。

        1.确定网页URL地址。

        2.通过HTTP/HTTPS协议获取对应的HTML页面。

        3.提取HTML页面中有用的数据，如果是有用的数据就保存起来。如果是页面中其他的URL，则进行第二步。

爬虫语言：

        JAVA语言的代码量有点大（应该是因为我太菜）。

        C/C++学习难度有点大（应该是我比较笨）。   

        python代码量少，学习成本低，我个人比较懒，所以我选择这个。    

使用python爬取静态HTML页面：

        按照爬取网页的过程，找到了网页的URL之后，就需要使用HTTP/HTTPS协议获取里面的内容了。python中处理HTTP请求的模块有很多比如urllib、urllib2、requests等等，可以模拟浏览器行为，获得服务器响应的内容。但是这个内容有一些数据是不需要的，就得我们自定义一些匹配规则来提取重要的数据，可以使用re、xpath、BeautifulSoup4、jsonpath、pyquery等模块。

使用python爬取动态HTML页面：

        动态页面也就是先渲染HTML页面，然后使用JS发送其他的HTTP请求获得页面数据。这些页面就比静态页面要难一些了。就需要用到一些自动化测试工具，例如selenium、phantomJS、chromedriver等。模拟真实浏览器加载js、ajax等动态页面的数据。动态页面的爬取过程中经常会遇到验证码这个坎儿，推荐一个工具，Tesseract，是一个机器学习库、机器图像识别系统，可以识别一些图片的文本内容。验证码在爬虫的过程中还是比较难搞的一个点，例如12306这种反人类的验证码，一般真人都不一定能验证通过。。。。。这些验证码就可以通过一些专门的打码平台来处理，但是需要一些费用。

Scrapy框架：

        框架这个东西，在我现在看来真是个好东西，可以直接使用，简化很多的底层代码的封装，本着能用、好用的原则，推荐使用Scrapy框架进行爬虫开发。

        Scrapy框架是一个高定制性，高性能（用到了异步网络框架twisted）的框架，数据下载速度很快、还提供了数据存储、数据下载、提取规则等组件。

分布式策略：

        这个点一定要会，工作中会用到。

        scrapy-redis是在scrapy框架的基础上以redis为核心封装的一套组件，让scrapy框架支持分布式功能，主要是在redis中做url去重、请求分配、临时数据存储。

爬虫、反爬虫：

        爬虫是用HTTP请求想服务器发送请求数据的一个流程。服务器压力会增大，这个时候运维人员就会想方设法的过滤掉一些看起来就不是真人操作的HTTP请求，也就是反爬虫。但是做爬虫，那就得不达到目的不能罢休。你不让爬，就非得爬下来，使用很多种方式骗过这些过滤机制，也就是反反爬虫。然后就恶性循环了，反爬虫机制越来越完善，反反爬虫也越来越难做。有时候想想，人就不能太较真，不让爬就别爬了呗，复制粘贴也挺好的。。。。。跑题了。。。。。

        反爬虫的策略：

            User-Agent（浏览器头）：可以通过修改请求中的User-Agent欺骗服务器使用不同的浏览器。

            代理IP（更换IP地址）：可以通过修改浏览器的IP地址，欺骗服务器使用不同的IP地址。

            验证码：这个就不用说了。不是每个网站都是12306.。。。。

            动态数据加载：静态页面改为动态页面。

            数据加密：服务器数据加密后传到页面上是需要解密的，这个解密的密钥就隐藏在页面使用的JS文件中，慢慢寻找总会找到。

通用爬虫和聚焦爬虫：

        通用爬虫：简单解释就是搜索引擎，比如百度快照。它尽可能把互联网的所有网页下载下来，放到本地服务器中备份，在对这些网页做一些关键字等处理，提供一个用户的搜索接口。

        聚焦爬虫：程序员写的针对于某种网站，某种内容的爬虫。