网络爬虫

我们已经从信息时代跨入了大数据时代，不管是养猪还是开网店，都是要基于信息和大数据的，嗯！

信息时代到大数据时代，信息量越来越大，互联网在急速膨胀，我们可以获取大量的信息，如何有效地收集、提取和利用信息成为了一个巨大的挑战。

搜索引擎成为了我们检索信息的入口，网络爬虫就是搜索引擎的重要组成部分。同时，网络爬虫也是我们从大数据中提取有价值信息的重要方式。

1、什么是爬虫

按照一定规则，自动抓取网络信息的机器人。搜索引擎需要收录大量的网站网页，并对网页按照信息进行索引，这样，用户使用搜索引擎检索的时候就能得到一个结果集。这些网页就是通过 网络爬虫爬取的。爬虫 爬取页面，然后对页面信息进行处理和索引，供搜索引擎使用，这种类型的爬虫是通用型爬虫。

通用型爬虫之外还可以编写聚焦型爬虫，爬取指定主题的相关网页，用来做主题相关的数据分析。爬虫还可以抓取特定网站和应用的数据，分析网站和应用的情况等。

爬虫是个机器人程序，需要模拟用户的操作和访问方式，在模拟的基础上实现自动化的访问。网络爬虫要做的，简单来说，就是实现浏览器的功能。通过指定url，直接返回给用户所需要的数据， 而不需要一步步人工去操纵浏览器获取。

2、通用型网络爬虫

搜索引擎的好坏很大程度上取决于爬虫系统的工作结果，爬虫收集网页、提取信息、进行信息索引，SEO优化，也就是需要对主流搜索引擎的爬虫友好，并且突出页面关键字信息给爬虫。

3、特定功能的爬虫

对于特定类型的爬虫，可以有很多用途，比如：各种类型的投票。。。；自动的抢票功能。。。；舆情监控；行业咨询报告等

投票抢票在工作中如果不是特定类型的工作，是没有太大用途的，但是行业咨询报告，在决策中是很有用途的，不管是针对一个行业还是针对一个公司、一个应用，都可以进行数据分析，以便作出相应决策来应对。下面介绍使用的两种开发方式，满足不同场景的数据需求。

4、在框架（scrapy）中开发

一般我们需要开发的爬虫属于特定功能爬虫，一般是用来收集数据，做数据分析的。Python处理HTTP请求、HTML、json、文本数据还是相当有优势的，所以选择使用 python 的爬虫框架来开发爬虫。

Scrapy 是为了爬取网站数据，提取结构性数据而编写的应用框架，scrapy 用途广泛,可以用于数据挖掘、监测和自动化测试等。

整体架构大致如下：

1、通过继承 spider，实现 parse 方法，就可以实现网页下载，如果 parse 里面返回 Request（可以制定 parse 方法）可以实现二级页面的抓取和分析。

2、抓取网页后，在parse 里面 可以通过 xpath 定位页面元素，抓取页面信息

3、通过item 存储 需要获取的数据对象，在parse 中根据页面信息生成item

4、抓取页面后进入 pipeline，处理 item，保存数据或者进行计算等

通过框架抓取页面、分析页面元素方便，可以高效地开发特定功能的爬虫。

5、用 python requests 开发

有些情况，需要抓取和分析的页面可以通过接口获得，页面比较有规律，这个时候没必要用到爬虫框架，使用 requests 就可以方便地完成数据抓取。Requests 是python 中的非转基因 HTTP 库，人类可以安全使用 😢。Requests 可以方便地实现接口调用、解析json数据、获取信息，开发和运行迅速。

个人认为，爬虫技术是一门非常有用的技术，这么技术建立在 xml、html语言结构、http协议，xpath 处理等基础之上，通过学习爬虫技术可以对相应的底层知识了解更深，再深入还有分布式爬虫等技术。爬虫等用途也比较广泛，在工作和学习中有很大的帮助。

以上，是工作中遇到的问题和相关的思考、实践，嗯，加油