可以参考Github:模拟登录一些知名的网站，为了方便爬取需要登录的网站
进入学生管理系统的登录页面后，笔者用的是谷歌浏览器，按F12启动开发者模式，勾选Preserve log，原因是Mysise有重定向机制，过程中的POST请求会被重定向，不勾选会看不到POST请求
Network标签是显示捕获到的信息项
登录后捕获到一个POST请求，该请求用于提交用户名和密码（用于登录的真实请求地址）
接下来用Python模拟登录需要准备三样信息，第一样是请求地址，在General中可以看到Request URL: http://class.sise.com.cn:7001/sise/login_check_login.jsp
第二样是请求头，Request Headers（包含各种属性），第三样是POST请求提交的表单（携带 用户名和密码等信息）
其中表单中有5个参数，第一个b74ecf92e26768c545bd2fac91220e5a:77d26418c74a62efa70938589ecb0ab9 是浏览器生成的，不同电脑登录会产生不同参数，是一个32长度的随机码，该随机码用于验证是否允许登录，random和token可以不需要也能模拟登录成功，接下来的两个就是用户名和密码了
所以我们第一件事要做的是获取随机码，构建完整的登录表单，在获取随机码前先讲一下cookie
什么是cookie：
当用户通过浏览器首次访问一个域名时，访问的Web服务器会给客户端发送数据，以保持Web服务器与客户端之间的状态，这些数据就是Cookie。
它是站点创建的，为了辨别用户身份而储存在用户本地终端上的数据，其中的信息一般都是经过加密的，存在缓存或硬盘中，在硬盘中是一些小文本文件。
当访问该网站时，就会读取对应网站的Cookie信息。
作用：记录不同用户的访问状态。
构建支持cookie的opener对象
import urllib,urllib2
import cookielib
#设置cookie
c = cookielib.LWPCookieJar()
#设置cookie处理器
cookie = urllib2.HTTPCookieProcessor(c)
#设置登录时用到的opener，它的open方法相当于urllib2.urlopen（不过是带cookie的 urllib2.urlopen ）
opener = urllib2.build_opener(cookie,urllib2.HTTPHandler)
#安装不同的opener对象作为urlopen()使用的全局opener。
urllib2.install_opener(opener)
准备三样信息
#请求地址
path="http://class.sise.com.cn:7001/sise/login_check_login.jsp"
#表单 [ username ] [ password ]填写具体的信息 或者可以写成函数，通过传参进行构建 需要用字典的格式来构建表单
data={
'username':'[ username ]',
'password':'[ password ]',
}
#浏览器请求头 作用：伪装浏览器访问 也需要用字典的格式构建
headers={
'Host': 'class.sise.com.cn:7001',
'Content-Type': 'application/x-www-form-urlencoded',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',
'Referer': 'http://class.sise.com.cn:7001/sise/',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.8'
}
下面开始获取随机码，需要利用opener对象中的open函数打开登录页面 http://class.sise.com.cn:7001/sise/
hidden_html = opener.open('http://class.sise.com.cn:7001/sise/').read()
#利用字符串查找和字符串索引提取关键字
hidden_html = hidden_html[hidden_html.find('<input type="hidden"')+len('<input type="hidden"'):]
name = hidden_html[hidden_html.find('name="')+len('name="'):hidden_html.find('name="')+len('name="')+32]
value = hidden_html[hidden_html.find('value="')+len('value="'):hidden_html.find('value="')+len('value="')+32]
#提取后加入data表单
data[name]=value
最后开始登录
#建立了一个Request对象来明确指明想要获取的url
req = urllib2.Request(path)
#加入浏览器请求头信息
req.headers = headers
# 对表单字典进行数据编码
data = urllib.urlencode(data)
html = urllib2.urlopen(req, data=data)
查看html的内容可以看出是否登录成功
print html.read()
成功登录输出信息： <script>top.location.href='/sise/index.jsp'</script>
按下F12，正常访问课表页面，浏览器捕获到访问课表的真实地址
html_class = opener.open('http://class.sise.com.cn:7001/sise/module/student_schedular/student_schedular.jsp').read() #获取课表页面
print html_class
具体课程信息提取看各位自由发挥
网友评论