爬虫里面手动添加cookies一共有两种方式,现在我们都讨论并实现下,实现的网站就用简书个人中心好了（这里是必须要登陆获取cookies才能访问的）。
方法1：在请求头headers中以字典的形式传入cookies
总所周知，我们以前都是在请求头中手动添加User-Agent这个参数来模拟用户操作，其实我们还可以在这个请求头中添加各种别的参数，一共有哪些参数取决于你要爬的网站，大部分网站的请求头参数都相同。
image.png
我们也可以用程序查看我们自己的请求头，具体的操作方法上篇文章讲过了。
image.png
其中这里面的cookies是我从浏览器那里复制过来的，很实用。
具体是：我们用开发者工具查看简书个人中心首页Network项第一个元素的详情：
image.png
这里面的请求头就有现成的cookies，我们直接复制它，然后粘贴到程序里就好了。
image.png
有人可能会想，不用cookies可不可以，----->本来是不行的，但是简书这个个人主页好像不是私密的，所以不加cookies也可以访问，就好像你可以看别的用户的主页浏览它的文章一样，即使你没登陆也可以看别人主页发的文章，所以这里不用cookies也可以访问到数据。 但是有的网站比如简书的用户钱包网站：
image.png
没有cookies的话，就算是同一个网站也会抓取不到任何结果的，只会跳转到登陆界面网站（我现在把cookies去掉）其他地方都没变，但是运行结果其实是简书的登陆网站：
image.png
这里我们加上cookies试试：
image.png
把这里的注释取消掉：发现结果还是要提示我们登陆，，，，拉闸，这是怎么回事呢？？我明明加上了“正确的cookies”，怎么还是没用，其实这个cookies少了点东西，我在前面的文章讲过，有的网站对“里网站”有更多到的限制，包括它为了确保你是正常访问用户，而在进入最里面的网站的中间网站里“设置cookies”，怎么查看网站设置的cookes我们可以用开发者工具，也可以用python代码*（前面讲过了）：
image.png
这是在进入个人中心给我们新增的cookes ，现在知道该怎么做了，我们用session试试捕捉保存cookes（后面的文章专门介绍session和cookiejar）：
image.png
这不就成功了，看来果然是这样操作的，和我们学校官网一样，需要多次捕捉cookes。
大概就是这样：
image.png
，连续get请求两次，用session对象，
image.png
方法2：在requests库的get函数中增加cookies参数
image.png
所以你得手动将复制过来的字符串形式的cookes转换成字典：
image.png
你可以手打，也可以自己写代码找规律转化。
差不多就这么多，后面再讲讲sesson和cookiejar。
源代码：
# coding='utf-8'
import requests
from lxml import etree
class Spider:
def __init__(self, url='', path=''):
self.url = url if url else 'https://www.jianshu.com/wallet'#'https://www.jianshu.com/u/13149cc00551'
self.path = path if path else ''
self.session = requests.session()
def get_response(self, url):
# 方法1. 将cookies直接加入headers中
#方法2. 利用参数cookies传递cookies，注意参数格式
return self.session.get(url, headers=self.headers, cookies=cookies)
def get_etree(self, xml):
return etree.HTML(xml)
def parse_data(self, target, fmt):
return target.xpath(fmt)
def set_cookies(self, cookies):
self.cookies = cookies
def set_headers(self, headers=''):
self.headers = headers if headers\
else {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36',
}#'Cookies': self.cookies,
#'Referer': 'https://www.jianshu.com/u/13149cc00551',}
def start(self):
# self.set_cookies('这个是你自己复制过来的cookies')
self.set_headers()
# 这个先登陆,不需要管这个中间网站的结果,我们只是用它保存cookie
response1 =self.get_response('https://www.jianshu.com/u/13149cc00551')
response = self.get_response(self.url)
with open('jianshu_qianbao.html', 'wb') as f:
f.write(response.content)
print('网站成功保存本地\n\n')
target = self.get_etree(response1.content.decode('utf-8'))
result_list = self.parse_data(target, r'//a[@class="title"]')
for each in result_list:
print('标题: {} ; url地址: {}\n--------------'.format(each.text, 'https://www.jianshu.com'+each.get('href')))
cookies = dict(）#这里面把你复制过来的Cookies手动转化成字典格式
Spider().start()
网友评论