Python模拟登陆豆瓣

这几天在学习模拟登陆，而登陆离不开http中Cookie技术

Cookie

由于HTTP是一种无状态的协议，服务器单从网络连接上无从知道客户身份。怎么办呢？就给客户端们颁发一个通行证吧，每人一个，无论谁访问都必须携带自己通行证。这样服务器就能从通行证上确认客户身份了。这就是Cookie的工作原理。

从浏览器的请求可以发现几个关键的信息

• 登录的 URL 地址是 https://accounts.douban.com/login
• 登录需要提供的表单数据有7个：

1. source:index_nav
2. redir:https://www.douban.com/
3. form_email:286210002@qq.com
4. form_password:123
5. captcha-solution:errfdf
6. captcha-id:lWtHfckzUAF4PoAtFtQdsyZy:en
7. login:登录

• 获取验证码的URL地址是 https://www.douban.com/misc/captcha?id=gTpnLfXlpVM2vIB2xlT09deP:en&size=s

我们还需要获取验证码元素，我们在开发者工具中切换到Elements一栏

从中我们得到了验证码元素在img标签内

img id="captcha_image"

最后我们还需要captcha-id元素，Ctrl+U打开页面源码（在登陆页面打开），Ctrl+F搜索captcha-id

好了，到了这一步所需的数据全部获取完毕

实战应用

登陆所需要的模块

• Requests
• BeautifulSoup4

pip install requests
pip install BeautifulSoup4

http.cookiejar 模块可用于自动处理HTTP Cookie，LWPCookieJar 对象就是对 cookies 的封装，它支持把 cookies 保存到文件以及从文件中加载。
而 session 对象 提供了 Cookie 的持久化，连接池功能，可以通过 session 对象发送请求
首先从cookies 文件中加载 cookie信息，因为首次运行还没有cookie，会出现 LoadError 异常。

import requests
from http import cookiejar
session = requests.session()
session.cookies = cookiejar.LWPCookieJar(filename='cookies')
try:
    print(session.cookies)
    session.cookies.load(ignore_discard=True)
except LoadError:
    print('no cookie')

获取验证码

def get_captcha():
    '''
    把验证码图片保存到当前目录，手动识别验证码
    :return:
    '''
    r = requests.post(download_url, data=data, headers=headers)
    page = r.text
    soup = BeautifulSoup(page, 'html.parser')
    image = soup.find('img', attrs={'id': 'captcha_image'}).get('src')
    s = session.get(captcha_url, headers=headers)
    with open('captcha.jpg', 'wb') as f:
        f.write(s.content)
    captcha = input('Please input the captcha: ')
    captcha_id = soup.find('input', {'type': 'hidden', 'name': 'captcha-id' }).get('value')
    return captcha, captcha_id

登陆

def login():
    captcha, captcha_id = get_captcha()
    # 增加表数据
    data['captcha-solution'] = captcha
    data['captcha-id'] = captcha_id
    response = session.post(download_url, data=data, headers=headers)
    page = response.text
    print(page)
    session.cookies.save()

第一次登陆后session 会自动把 服务端的返回的cookie 信息填充到 session.cookies 对象中，下次登陆时就不需要再输入账号密码
完整代码
欢迎访问我的博客Treehl的博客