“觊觎”教务网不是一天两天了。。
之前试过selenium，结果失败。
昨天爬下来了，发现竟如此简单！
整个过程仅花核心代码30余行。
一、步骤
1、首先查看分析
打开界面是这样
查看源码是这样
什么都没有，难怪用selenium定位不到了。估计还得配合PhantomJS来渲染页面，麻烦呀。于是想到抓包，一下就抓出来了。
2、抓包
抓包过程就不赘述，详情也可见我上一篇文章
http://www.jianshu.com/p/1f44a9a2ddd8
最终获得成绩的真实URL地址。
3、下载数据
最先是试着不登录，直接用requests获取抓包得到的URL，结果获得这一串
当时吓坏了我这个小白.。
上网查有说什么“空指针错误”的，狐疑。
后面设置headers,加上cookies，还开启Session，稀里糊涂通过。
805784604.png
当时是想着抓包得到的URL可能是临时触发的，所以必须保持在一个会话中。
后面用network分析了下，果然如此，而且session会话只停留一定的时间。
20170327121351934.jpg
20170327121516924.jpg
由此类推，先得打开成绩查询，才能触发前面这个包，然后触发我们要的包。
所以，还是得模拟登陆。
4、数据处理与保存
这里选择存入Excel。
看到一排排整齐的<td align="center">，于是用BeautifulSoup，text方法获取文本，所有的数据放入list中，简直完美。
数了下每一行有：课程号、课序号、课程名、英文名、学分、属性、分数共7项。
可这是一个大的list呀，
如何将数据“规整地”存入Excel？
// 嘿嘿，放点小招 //~~
data_list=[]
for data in content:
data_list.append(data.text.strip())
new_list=[data_list[i:i+7] for i in range(0,len(data_list),7)]
成功list中分割list，每一个list正好是7项。
20174960468406.png
黑魔法的味道？哈哈哈我简直聪明（_）!
(当然不会告诉你是在stackoverflow上找到的）
有了这里铺垫，存入数据就简单了。
</br>
二、结果
如下所示
图1.png
图2.png
看了一下，从入学到现在，一共考了73科。
一不小心暴露学渣的本质。。。。。
048967407png
三、代码
还是放完整版，方便查看：
# !usr/bin/env python
# -*-coding:utf-8 -*-
__author__='WYY'
__date__='2017.03.26'
#实战小项目：爬取教务网成绩并存入excel
import requests
import xlwt
from bs4 import BeautifulSoup
#模拟登录
formData={'zjh':'xxxxxxxxxxxxx','mm':'xxxxxx'}
s=requests.Session()
Post=s.post(url='http://zhjw.scu.edu.cn/loginAction.do',data=formData)
print Post.status_code
#获取基本信息
detailURL='http://zhjw.scu.edu.cn/gradeLnAllAction.do? type=ln&oper=qbinfo&lnxndm=2016-2017%D1%A7%C4%EA%C7%EF(%C1%BD%D1%A7%C6%DA)'
html=s.get(url=detailURL)
main=html.content.decode('gbk')
soup=BeautifulSoup(main,'lxml')
content=soup.find_all('td',align="center")
#将信息放入一个list中,创建new_list(方便后续存入excel)
data_list=[]
for data in content:
data_list.append(data.text.strip())
new_list=[data_list[i:i+7] for i in range(0,len(data_list),7)]
#数据存入excel表格
book=xlwt.Workbook()
sheet1=book.add_sheet('sheet1',cell_overwrite_ok=True)
heads=[u'课程号',u'课序号',u'课程名',u'英文课程名',u'学分',u'课程属性',u'成绩']
print u'\n准备将数据存入表格...'
ii=0
for head in heads:
sheet1.write(0,ii,head)
ii+=1
i=1
for list in new_list:
j=0
for data in list:
sheet1.write(i,j,data)
j+=1
i+=1
book.save('JiaoWuChengJi.xls')
print u'\n录入成功！'
也可看Github：
https://github.com/LUCY78765580/Python-web-scraping/blob/master/JWCJ.py
</br>
四、总结
总结这次爬虫的关键：
1、巧用抓包，找到成绩真实URL
2、模拟登录，并用Session保持会话
3、使用xlwt将数据写入excel
4、实用小技巧：new_list=[data_list[i:i+n] for i in range(0,len(data_list),n)]
最后这一项，简直堪称神奇的语法糖⊙ω⊙
本篇就是这样啦~
网友评论