也许你在浏览一些网页的时候会遇到这种情况,有的网页的内容会设置为登录可见。
如果想要用driver去驱动浏览器浏览隐藏内容的话,就需要事先给它添加cookie信息,这几天使用的时候遇到了一些坑,简单说明下。
首先,我们先创建一个driver:
from selenium import webdriver
driver = webdriver.Chrome()
创建出来的driver专门有一个添加cookie信息的方法driver.add_cookie()
,他接受的参数是一个字典。回到本文正题,下面说说坑。
坑一
add_cookie()
方法接受的字典参数的键名不是随意起的。
不能想当然地分解获取到内容的等号左右的信息。他的键名都是有意义的,一般记住name
和value
即可,分别代表cookie的名称和动态生成的值。
坑二
确保获取到的cookie内容是有效的。
举个栗子,这是我在登陆某网站后看到的cookie内容:
到底哪一组
name
和value
是有效的呢,对了忘了告诉你们,我在这网站的id叫rin,而正好有两组中value是以rin开头的:第一组中的Name中的log in又像是在暗示我一样,于是我的字典决定了:
cook_dict = {
'name': 'wordpress_logged_in_XXXXXXXXXXXXXXXXXXf',
'value': 'rin%7C156620073XXXXXXXXXXXXXXXc53bab6'
}
当然,不知道的话也可以多尝试,但如果你是第一次使用add_cookie()
方法,建议你一定要在尝试前先看看坑三!
坑三
当你高高兴兴地进入目标网址,并想给driver添加好cookie信息:
driver.get("目标网址")
driver.add_cookie(cookie_dict=cook_dict)
它可能会报错,注意,这里说的是可能。
如果你遇到了类似Message: unable to set cookie
的错误,建议使用更稳妥的方式:
driver.get("登录页面对应的网址")
driver.add_cookie(cookie=cook_dict)
driver.get('目标网址')
就是说,在登录页面添加cookie信息,然后再访问目标网址。
如有错误,欢迎指正~
网友评论