1, 你用过的爬虫框架或者模块有哪些？谈谈他们的区别或者优缺点？
Python自带：urllib，urllib2
第 三 方：requests
框 架：Scrapy
urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。
urllib2.：urllib2.urlopen可以接受一个Request对象或者url，（在接受Request对象时候，并以此可以来设置一个URL 的headers），urllib.urlopen只接收一个url
urllib 有urlencode,urllib2没有，因此总是urllib，urllib2常会一起使用的原因
scrapy是封装起来的框架，他包含了下载器，解析器，日志及异常处理，基于多线程， twisted的方式处理，对于固定单个网站的爬取开发，有优势，但是对于多网站爬取 100个网站，并发及分布式处理方面，不够灵活，不便调整与括展。
request 是一个HTTP库， 它只是用来，进行请求，对于HTTP请求，他是一个强大的库，下载，解析全部自己处理，灵活性更高，高并发与分布式部署也非常灵活，对于功能可以更好实现.
2，scrapy和scrapy-redis的区别？
scrapy是一个爬虫通用框架，但不支持分布式，scrapy-redis是为了更方便的实现scrapy分布式爬虫，而提供了一些以redis为基础的组件
为什么会选择redis数据库？
因为redis支持主从同步，而且数据都是缓存在内存中，所以基于redis的分布式爬虫，对请求和数据的高频读取效率非常高
什么是主从同步？
在Redis中，用户可以通过执行SLAVEOF命令或者设置slaveof选项，让一个服务器去复制（replicate）另一个服务器，我们称呼被复制的服务器为主服务器（master），而对主服务器进行复制的服务器则被称为从服务器（slave），当客户端向从服务器发送SLAVEOF命令，要求从服务器复制主服务器时，从服务器首先需要执行同步操作，也即是，将从服务器的数据库状态更新至主服务器当前所处的数据库状态
3，scrapy的优缺点？为什么要选择scrapy框架？
优点：采取可读性更强的xpath代替正则
强大的统计和log系统
同时在不同的url上爬行
支持shell方式，方便独立调试
写middleware,方便写一些统一的过滤器
通过管道的方式存入数据库
缺点：基于python爬虫框架，扩展性比较差，基于twisted框架，运行中exception是不会干掉reactor，并且异步框架出错后是不会停掉其他任务的，数据出错后难以察觉
4，scrapy和requests的使用情况？
requests 是 polling 方式的，会被网络阻塞，不适合爬取大量数据
scapy 底层是异步框架 twisted ，并发是最大优势
5，描述一下scrapy框架的运行机制？
从start_urls里面获取第一批url发送请求，请求由请求引擎给调度器入请求对列，获取完毕后，调度器将请求对列交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理，如果提取出需要的数据，则交给管道处理，如果提取出url，则继续执行之前的步骤，直到多列里没有请求，程序结束。
6，写爬虫使用多进程好，还是用多线程好？
IO密集型代码(文件处理、网络爬虫等)，多线程能够有效提升效率(单线程下有IO操作会进行IO等待，造成不必要的时间浪费，而开启多线程能在线程A等待时，自动切换到线程B，可以不浪费CPU的资源，从而能提升程序执行效率)。在实际的数据采集过程中，既考虑网速和响应的问题，也需要考虑自身机器的硬件情况，来设置多进程或多线程
7，常见的反爬虫和应对方法？
1. 基于用户行为，同一个ip段时间多次访问同一页面
利用代理ip，构建ip池
2. 请求头里的user-agent
构建user-agent池（操作系统、浏览器不同，模拟不同用户）
3. 动态加载（抓到的数据和浏览器显示的不一样），js渲染
模拟ajax请求，返回json形式的数据
4，selenium / webdriver 模拟浏览器加载
5，对抓到的数据进行分析
6，加密参数字段
会话跟踪【cookie】
防盗链设置【Referer
8，分布式爬虫主要解决什么问题？
面对海量待抓取网页，只有采用分布式架构，才有可能在较短时间内完成一轮抓取工作。
它的开发效率是比较快而且简单的。
9，爬取时弹出对话框让验证，又该怎么处理？
HTTP请求的basic认证
客户端将输入的用户名密码用Base64进行编码后，采用非加密的明文方式传送给服务器。
Authorization: Basic xxxxxxxxxx.
10，你在爬虫过程中，都是怎么解决反爬的，爬取多少数据，用了多长时间？
11，爬取这些数据都用来做什么的？怎么交付给公司？客户是谁？爬取数据的影响因素？
当时我们公司核心业务是网站开发，还有数据的采集，会经常需要一些数据，采集的数据一 是为了满足公司需求，二是我们有合作的公司，负责给他们提供他们所需要的数据，（根据客户需求做好 相应格式的数据文件，交付给项目组长）（数据库导出）
影响因素：机器的性能及带宽，代码质量，爬取时的反爬机制
12，什么是爬虫，为什么要用爬虫?
用于在网络上采集数据的程序，可以用任何语言开发，python更加方便快捷高效一些。
爬虫的目的：采集一些需要的数据。
为什么python更适合写爬虫程序？python中封装了很多爬虫库，如urllib ,re,bs,scrapy等，开发效率更高
13，爬虫的基本流程？
1，浏览器发起请求，可能包含请求头等信息，等待服务器相应
2，获取服务器响应内容，可能是网页文本（html、json代码），图片二进制、视频二进制等
3，解析内容（正则、xpath、json解析等 ）
4， 保存数据（本地文件、数据库等）
14，如何提高爬取效率？
爬虫下载慢主要原因是阻塞等待发往网站的请求和网站返回
1，采用异步与多线程，扩大电脑的cpu利用率；
2，采用消息队列模式
3，提高带宽
15，request请求方式中的post、get有什么区别
GET一般用于获取/查询资源信息，而POST一般用于更新资源信息
get是在url中传递数据，数据放在请求头中，post是在请求体中传递数据
get安全性非常低，post安全性较高，但是get执行效率却比Post方法好
16，模拟登陆原理？
因为http请求是无状态的，网站为了识别用户身份，需要通过cookie记录用户信息（用户、密码），这些信息都会在手动登陆时记录在post请求的form-data里，那么在爬虫时候只需要将这些信息添加到请求头里即可。
17，分布式原理？
多台机器多个spider 对多个 url 同时进行处理
分布式如何判断爬虫已经停止了？
18，下载器中间件(Downloader Middlewares)
位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
爬虫中间件(Spider Middlewares)介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。
调度中间件(Scheduler Middewares)介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应
19，爬虫协议？
Robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。
20，爬虫的底层原理？
21，scrapy中间件有几种类，你用过那些中间件？
scrapy的中间件理论上有三种(Schduler Middleware,Spider Middleware,Downloader Middleware)
DownloaderMiddleware主要处理请求Request发出去和结果Response返回的一些回调，
比如说你要加UserAgent，使用代理，修改refferer（防盗链），添加cookie，或者请求异常超时处理啥的
常用： 1.爬虫中间件Spider Middleware
主要功能是在爬虫运行过程中进行一些处理.
2.下载器中间件Downloader Middleware
主要功能在请求到网页后,页面被下载时进行一些处理.
22，代理问题
1.为什么会用到代理
将真是IP隐藏起来（请求过于太频繁的话，ip可能会被禁止）
2.代理怎么使用（具体代码，请求在什么时候添加的代理）
proxy_handler = ProxyHandler({'http': 'http://183.159.89.204:18118'})
# 构建一个Opener对象
proxy_opener = build_opener(proxy_handler)
# 使用自定义opener访问服务器数据，得到相应
response = proxy_opener.open(request)
3.代理失效了怎么处理
23，验证码处理
1.登陆验证码处理
2.爬取速度过快出现的验证码处理
3.如何用机器识别验证码
24，模拟登陆问题
1.模拟登陆流程
因为http请求是无状态的，网站为了识别用户身份，需要通过cookie记录用户信息（用户、密码），这些信息都会在手动登陆时记录在post请求的form-data里，那么在爬虫时候只需要将这些信息添加到请求头里即可
2.cookie如何处理
同上
3.如何处理网站传参加密的情况
对抓包数据进行分析，这要 在具体的项目中去说明
25，数据存储和数据库问题
1.关系型数据库和非关系型数据库的区别
1.关系型数据库通过外键关联来建立表与表之间的关系，
2.非关系型数据库通常指数据以对象的形式存储在数据库中，而对象之间的关系通过每个对象自身的属性来决定
2.爬下来数据你会选择什么存储方式，为什么
3.各种数据库支持的数据类型，和特点，比如：redis如何实现持久化，mongodb
是否支持事物等。。
26，协议问题
# 爬虫从网页上拿数据肯定需要模拟网络通信的协议
1.http协议，请求由什么组成，每个字段分别有什么用,https和http有什么差距
2.证书问题
3.TCP,UDP各种相关问题
27，数据提取问题
1.主要使用什么样的结构化数据提取方式
xpath 正则 bs4等
2.动态加载的数据如何提取
模拟ajax请求，返回json形式的数据
3.json数据如何提取
python中内置了json模块,提供了dumps、dump、loads、load，用于字符串 和 python数据类型间进行转换。然后再对数据用递归，正则，或者一层一层获取的方法得到数据
28，redis数据库有哪几种数据结构？
5种数据结构：
String字符串
List列表
Set集合
Hash散列
Zset有序集合
29，使用redis搭建分布式系统时如何处理网络延迟和网络异常？
由于网络异常的存在，分布式系统中请求结果存在“三态”的概念，即三种状态：“成功”、“失败”、“超时（未知）”
当出现“超时”时可以通过发起读取数据的操作以验证 RPC 是否成功（例如银行系统的做法）
另一种简单的做法是，设计分布式协议时将执行步骤设计为可重试的，即具有所谓的“幂等性”
也可设置一个超时时间，如果超过该时间，可以try出去。
30，如果对方网站反爬取，封IP了怎么办？
1，放慢抓取熟速度，减小对目标网站造成的压力，但是这样会减少单位时间内的数据抓取量
2，使用代理IP（免费的可能不稳定，收费的可能不划算）
31，爬虫过程中验证码怎么处理？
32，关于防盗链？
部分服务器会检查 http 请求头的 Referer 字段来判断你是否是从指定页面跳转而来的，以达到防盗链的作用。因此在伪装请求头部的时候，该字段也是不容忽视的。
last：爬虫中遇到的错误，是怎么解决的？
1，获取json数据之后，把Json格式字符串解码转换成Python对象时，在json.loads的时候出错？
要注意被解码的Json字符的编码，如果传入的字符串的编码不是UTF-8的话，需要指定字符编码的参数encoding
2，使用urllib2时，经常遇到编码问题
3，有时会遇到503错误
主要是指服务器判断出你是爬虫程序，所以需要改变一下请求头，设置一下时间的间隔
4，bs4库解析时遇到的问题？
html 页面的数据经过Beautiful Soup库的解析后，部分html源码丢失，找不到想要的数据了
查看官方文档，bs 库支持的解析库有 lxml, html5lib 和 html.parser。用的最多的是 lxml，因为它的解析速度快，并且容错能力强，默认也是使用该解析器。
出现解析后源码丢失的可能原因有 2 个：
BeautifulSoup 有时候会遇到非法的，不支持的 html 源码而导致无法解析或无法正常解析 html；
处理的文档太大，而处理的解析器缓存不够造成的信息丢失。
这里换一个解析器，换成 html.parser 就可以了。
5，动态加载问题？
网友评论