花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

一点点心里话，教程难度偏高，文章长度按米算，所以基本上是没人可以全部看完的。做好心理准备。

爬取的思路

首先我们应该找到一个账号，这个账号被关注的人和关注的人都相对比较多的，就是下图中金字塔顶端的人，然后通过爬取这个账号的信息后，再爬取他关注的人和被关注的人的账号信息，然后爬取被关注人的账号信息和被关注信息的关注列表，爬取这些用户的信息，通过这种递归的方式从而爬取整个知乎的所有的账户信息。整个过程通过下面两个图表示：

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！ QQ图片20180808144134.jpg 花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

爬虫分析过程

我们抓取的大V账号的主要信息是：

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

其次我们要获取这个账号的关注列表和被关注列表

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

这里我们需要通过抓包分析如果获取这些列表的信息以及用户的个人信息内容

当我们查看他关注人的列表的时候我们可以看到他请求了如下图中的地址，并且我们可以看到返回去的结果是一个json数据，而这里就存着一页关乎的用户信息。

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！ 花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！ 花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

上面虽然可以获取单个用户的个人信息，但是不是特别完整，这个时候我们获取一个人的完整信息地址是当我们将鼠标放到用户名字上面的时候，可以看到发送了一个请求：

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

我们可以看这个地址的返回结果可以知道，这个地址请求获取的是用户的详细信息:

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

通过上面的分析我们知道了以下两个地址：

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！ 花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

这里我们可以从请求的这两个地址里发现一个问题，关于用户信息里的url_token其实就是获取单个用户详细信息的一个凭证也是请求的一个重要参数，并且当我们点开关注人的的链接时发现请求的地址的唯一标识也是这个url_token

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！ 花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

创建项目进行再次分析

通过命令创建项目

scrapy startproject zhihu_user

cd zhihu_user

scrapy genspider zhihu www.zhihu.com

直接通过scrapy crawl zhihu启动爬虫会看到如下错误：

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

这个问题其实是爬取网站的时候经常碰到的问题，大家以后见多了就知道是怎么回事了，是请求头的问题，应该在请求头中加User-Agent,在settings配置文件中有关于请求头的配置默认是被注释的，我们可以打开，并且加上User-Agent,如下：

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

关于如何获取User-Agent，可以在抓包的请求头中看到也可以在谷歌浏览里输入：chrome://version/ 查看

这样我们就可以正常通过代码访问到知乎了

然后我们可以改写第一次的请求，这个我们前面的scrapy文章关于spiders的时候已经说过如何改写start_request，我们让第一次请求分别请求获取用户列表以及获取用户信息

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

这个时候我们再次启动爬虫

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

我们会看到是一个401错误，而解决的方法其实还是请求头的问题，从这里我们也可以看出请求头中包含的很多信息都会影响我们爬取这个网站的信息，所以当我们很多时候直接请求网站都无法访问的时候就可以去看看请求头，看看是不是请求头的哪些信息导致了请求的结果，而这里则是因为如下图所示的参数：

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

所以我们需要把这个参数同样添加到请求头中：

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

然后重新启动爬虫，这个时候我们已经可以获取到正常的内容。到此基本的分析可以说是都分析好了，剩下的就是具体代码的实现。

items中的代码主要是我们要爬取的字段的定义

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

这些字段的是在用户详细信息里找到的，如下图所示，这里一共有58个字段，可以详细研究每个字段代表的意思：

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

关于spiders中爬虫文件zhihu.py中的主要代码

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

上述的代码的主要逻辑用下图分析表示：

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

关于上图的一个简单描述：

1. 当重写start_requests，一会有三个yield，分别的回调函数调用了parse_user,parse_follows,parse_followers，这是第一次会分别获取我们所选取的大V的信息以及关注列表信息和粉丝列表信息

2. 而parse分别会再次回调parse_follows和parse_followers信息，分别递归获取每个用户的关注列表信息和分析列表信息

3. parse_follows获取关注列表里的每个用户的信息回调了parse_user，并进行翻页获取回调了自己parse_follows

4. parse_followers获取粉丝列表里的每个用户的信息回调了parse_user，并进行翻页获取回调了自己parse_followers

通过上面的步骤实现所有用户信息的爬取，最后是关于数据的存储

关于数据存储到mongodb

这里主要是item中的数据存储到mongodb数据库中，这里主要的一个用法是就是插入的时候进行了一个去重检测

花了一天一夜才用Python爬取完所有知乎用户信息，真的挺难！

所有的努力都值得期许，每一份梦想都应该灌溉！