Python爬虫面试常见问题

爬虫面试常见问题

一、项目问题：

1.你写爬虫的时候都遇到过什么反爬虫措施，你是怎样解决的

2.用的什么框架。为什么选择这个框架

二、框架问题：

1.scrapy的基本结构（五个部分都是什么，请求发出去的整个流程）

2.scrapy的去重原理（指纹去重到底是什么原理）

3.scrapy中间件有几种类，你用过哪些中间件

4.scrapy中间件在哪里起的作业（面向切片编程）

三、代理问题：

1.为什么会用到代理

2.代理怎么使用（具体代码， 请求在什么时候添加的代理）

3.代理失效了怎么处理

四、验证码处理：

1.登陆验证码处理

2.爬取速度过快出现的验证码处理

3.如何用机器识别验证码

五、模拟登陆问题：

1.模拟登陆流程

2.cookie如何处理

3.如何处理网站传参加密的情况

六、分布式：

1.分布式原理

2.分布式如何判断爬虫已经停止了

3.分布式的去重原理

七、数据存储和数据库问题：

1.关系型数据库和非关系型数据库的区别

2.爬下来数据你会选择什么存储方式，为什么

3.各种数据库支持的数据类型，和特点

八、Python基础问题：

ps：基础问题是非常多的，因为是爬虫性质，所以抽了一些问的比较多的，总结如下：

1.Python2与Python3的区别，如何实现python2代码迁移到Python3环境

2.Python2和Python3的编码方式有什么差别

3.迭代器，生成器，装饰器

4.Python的数据类型

九、协议问题：

1.http协议，请求由什么组成，每个字段分别有什么用，https和http有什么差距

2.证书问题

3.TCP，UDP各种相关问题

十、数据提取问题：

1.主要使用什么样的结构化数据提取方式，可能会写一两个例子

2.正则的使用

3.动态加载的数据如何提取

4.json数据如何提取

十一、算法问题：

算法：你们要善用Python的数据类型，对Python的数据结构深入了解

Python web面试常见问题

一、Python语法以及其他基础部分：

1.可变与不可变类型

2.浅拷贝与深拷贝的实现方式、区别；deepcopy如果你来设计，如何实现

3.new()与init()的区别

4.你知道几种设计模式

5.编码与解码你了解过吗

6.列表推导式list comprehension和生成器的优劣

7.什么是装饰器；如果想在函数之后进行装饰，应该怎么做

8.手写个使用装饰器实现的单例模式

9.使用装饰器的单例和使用其他方法的单例，在后续使用中，有何区别

10.手写：正则邮箱地址

11.介绍下垃圾回收：引用计数/分代回收/孤立引用环

12.多进程和多线程的区别，cpu密集型适合用什么

13.进程通信的方式有几种

14.介绍下协程，为何比线程快

15.range和xrange的区别

二、算法排序部分：

1.手写快排；堆排；几种常用排序的算法复杂度是多少；快排平均复杂度多少，最坏情况如何优化

2.手写：已知一个长度n的无序列表，元素均是数字，要求把所有间隔为d的组合找出来，你写的解法算法复杂度多少

3.手写：一个列表A=[A1，A2，…,An]，要求把列表中所有的组合情况打印出来；

4.手写：用一行python写出1+2+3+…+10**8

5.手写python：用递归的方式判断字符串是否为回文

6.单向链表长度未知，如何判断其中是否有环

7.单向链表如何使用快速排序算法进行排序

7.手写：一个长度n的无序数字元素列表，如何求中位数，如何尽快的估算中位数，9).你的算法复杂度是多少；

8.如何遍历一个内部未知的文件夹（两种树的优先遍历方式）

三、网络基础部分：

1.TCP/IP分别在模型的哪一层

2.socket长连接是什么意思

3.select和epoll你了解么，区别在哪

4.TCP UDP区别；三次握手四次挥手讲一下

5.TIME_WAIT过多是因为什么

6.http一次连接的全过程：你来说下从用户发起request——到用户接收到 response

7.http连接方式。get和post的区别，你还了解其他的方式么

8.restful你知道么

9.状态码你知道多少，比如200/403/404/504等等

四、数据库部分：

1.MySQL锁有几种；死锁是怎么产生的； 为何，以及如何分区、分表；

2.MySQL的char varchar text的区别:

了解join么,有几种有何区别，A LEFT JOIN B，查询的结果中，B没有的那部分是如何显示的(NULL)

3.索引类型有几种，BTree索引和hash索引的区别

4.手写：如何对查询命令进行优化

5.NoSQL了解么，和关系数据库的区别,redis有几种常用存储类型

五、linux部分：

1.讲一下你常用的Linux/git命令和作用；

2.查看当前进程是用什么命令，除了文件相关的操作外，你平时还有什么操作命令；

六. Django项目部分:

都是让简单的介绍下你在公司的项目，不管是不是后端相关的，主要是要体现出你干了什么

你在项目中遇到最难的部分是什么，你是怎么解决的； 你看过django的admin源码么

看过flask的源码么,你如何理解开源

MVC / MTV, 缓存怎么用, 中间件是干嘛的

CSRF是什么，django是如何避免的,XSS

如果你来设计login，简单的说一下思路

session和cookie的联系与区别,session为什么说是安全的

uWSGI和Nginx的作用；