从CSDN博主Jack-Cui学习记录

一、为什么要使用Cookie

Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）。

比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容，登陆前与登陆后是不同的，或者不允许的。

使用Cookie和使用代理IP一样，也需要创建一个自己的opener。在HTTP包中，提供了cookiejar模块，用于提供对Cookie的支持。

http.cookiejar功能强大，我们可以利用本模块的CookieJar类的对象来捕获cookie并在后续连接请求时重新发送，比如可以实现模拟登录功能。该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

它们的关系：CookieJar–派生–>FileCookieJar–派生–>MozillaCookieJar和LWPCookieJar

工作原理：创建一个带有cookie的opener，在访问登录的URL时，讲登录后的cookie保存下来，然后利用这个cookie来访问其他网址。查看登录之后才能看到的信息。

二、实战

1.背景介绍

在伯乐在线有这么一个又去的模块，面向对象，它说白了就是提供了一个程序员（媛）网上相亲的平台。

URL:http://date.jobbole.com/

它的样子是这样的：

可以看到，这里有很多相亲贴，随便点进去就会有网上相亲MM的详细信息，想获取MM的联系方式，需要积分，积分可以通过签到的方式获取。如果没有登陆账户，获取联系方式的地方是这个样子的：

如果登陆了账号，获取联系方式的地方是这个样子的：

想要爬取MM的联系邮箱，就需要用到我们本次讲到的只是，Cookie的使用。当然，首先你积分也得够。

2.过程分析

在伯乐在线首页点击登陆的按钮，Form Data内容如下：

从上图可以看出，真正请求的url是

http://www.jobbole.com/wp-admin/admin-ajax.php

点击取得联系邮箱按钮的时候，Form Data内容如下：

从上图可以看出，此刻真正请求的url是

http://date.jobbole.com/wp-admin/admin-ajax.php

postId是每个帖子的id。例如，打开一个相亲贴，它的URL是http://date.jobbole.com/4128/，那么它的这个postId就是4128。为了简化程序，这里就不讲解如何自动获取这个postId了，本实例直接指定postId。如果想要自动获取，可以使用beautifulsoup解析http://date.jobbole.com/返回的信息。beautifulsoup的使用。有机会的话，会在后面的爬虫笔记中进行讲解。

3.测试

1）将Cookie保存到变量中

首先，我们先利用CookiueJar对象实现获取cookie的功能，存储到变量中，代码：

我们使用以上方法将cookie保存到变量中，然后打印出了cookie中的值，结果如下：

2）保存Cookie到文件

在上面的方法中，我们将cookie保存到了cookie这个变量中，如果我们想将cookie报蹲到文件中该怎么做？方便以后直接读取文件使用，这时，我们就要用到FileCookieJar这个对象了，在这里我们使用它的子类MozillaCookieJar来实现Cookie的保存，代码如下：

cookie.save的参数说明：

ignore_discard的意思是即使cookies将被丢弃也将它保存下来。

ignore_expires的意思是如果在该文件中cookies已经存在，则覆盖原文件写入。

在这里，我们将这两个全部设置为True。

运行之后，cookies将被保存到cookie.txt文件中。我们可以查看下cookie.txt这个文件的内容。

3）从文件中获取Cookie并访问

我们已经做到把Cookie保存到文件中了，如果以后想使用，可以利用下面的方法来读取cookie并访问网站，感受一下：

了解到以上内容，我们就可以开始正式编写模拟登陆伯乐在线的程序了。

4.编写代码

我们利用CookieJar对象实现获取cookie的功能，存储到变量中。然后使用这个cookie变量创建opener，使用这个设置浩cookie的opener即可模拟登陆，同笔记四中使用代理IP的使用方法类似。代码如下：

运行结果如下;