一.简述
爬虫爬取数据时，有些数据并不能让游客访问到，这时候就需要进行登录，再爬取数据，登录后再爬取的手段很多，但核心都是通过cookie的方式来记录身份信息，因此模拟登录的核心在于对cookie的使用。
二.登录方法
目前我所知的登录方法有两种：
1.通过selenium进行浏览器模拟登录（简单粗暴）
2.通过分析登录页面，获取登录接口和提交表单进行登录验证
由于知乎改版后，登录接口变的有些复杂，加入动态js的方法，因此我采用selenium方式来登录，同时通过session记录登录后的cookies，进一步对知乎内的内容进行爬取。
三.实现登录
平台：windows
工具：Python 2.7.14，Chrome浏览器
首先用pip安装好所需的模块selenium，requests，BeautifulSoup(网上有教程)，然后下载好chromedriver，将其加入系统环境变量，或者直接放在python 安装目录下的scripts中。
思路：用selenium打开chrome，通过程序自动输入账号密码，有验证码则需手动填写下验证码。等到成功登陆之后使用“get_cookies()”函数来调出它的Cookies，然后将cookies保存在requests.Session中，通过session继续访问登录后的页面。
代码如下：
from selenium import webdriver
import requests
from time import sleep
from bs4 import BeautifulSoup
browser = webdriver.Chrome()
url= 'https://www.zhihu.com/'
s = requests.Session()
s.headers.clear()#清除requests头部中的Python机器人信息，否则登录失败
browser.get(url)
browser.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[2]/div[2]/span').click()#避免屏幕失去焦点
browser.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[2]/div[1]/form/div[1]/div[2]/div[1]/input').send_keys('账号')
browser.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[2]/div[1]/form/div[2]/div/div[1]/input').send_keys('密码')
try:
img = browser.find_element_by_xpath('//* [@id="root"]/div/main/div/div/div/div[2]/div[1]/form/div[3]/div/div[2]/img')#验证码图片链接--倒立文字
sleep(10)
except:
img= browser.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[2]/div[1]/form/div[3]/div/span/div/img').get_attribute("src")#验证码图片链接--字母数字
sleep(10)#填写验证码
else:
pass
browser.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[2]/div[1]/form/button').submit()#登录
sleep(5)#等待Cookies加载
cookies = browser.get_cookies()
browser.quit()
for cookie in cookies:
s.cookies.set(cookie['name'],cookie['value'])#为session设置cookies
html=s.get(url).text
soup = BeautifulSoup(html)
items = soup.find_all('a',attrs={'data-za-detail-view-element_name':"Title"})#获取登录后加载出的前几个话题的标题
for item in items:
print item.string
运行结果：
afsasdfas.png
网友评论