# 引子
最近偶尔在极客学院看一会教程视频，主要是扩展视野, 感觉有的视频教程的质量还是不错的，至少能够把人带入门。
然而，高质量视频要盈利，学院针对*非年度会员*仅提供第一章节的试看，就是想诱惑你，注册，消费。
近期学院有活动，VIP试用可以通过邀请方式来续期，会员A邀请好友B，B通过链接注册成功后，A和B都同时会增加一个月的会员。
就是这里，会员不是关键，关键是有相对长一点的时间，可以收集各类教程视频，是不是可以整一个这样的程序：
> 自动登陆学院，爬取分类教程页面，对页面分析出视频地址，然后分别存储视频到本地？
# 初步分析
## 登录认证
学院的登录认证支持两种，一种使用通过手机注册验证成为学院会员；另一种第三方认证(支持QQ,微博等)，通过第三方认证登录后，自动成为会员。
在这里，暂时实现使用第三方认证登录方式，后面如有需要再考虑使用学院账号登录。
## 页面分析
通过F12，看到学院播放视频使用了`video-js`控件，如果在支持HTML5的浏览器中，在video块中是可以看到视频源`source`的地址，这个后面再细作分析。
# 详细过程
## 获得认证码
抓包分析过程，用到了fiddler和浏览器的开发者工具，用于分析使用浏览器登录过程都做了什么操作
模拟网页请求主要使用`python`，引用库： requests, base64, hashlib, rsa等
### 从'QQ登录'开始
点击‘QQ登录’按钮后，抓包分析请求和回应:
点击"QQ登录"
```
<---请求
GET /connect/qq HTTP/1.1\r\n
Host: passport.jikexueyuan.com\r\n
Referer: http://www.jikexueyuan.com/\r\n
--->回应
HTTP/1.1 302 Moved Temporarily\r\n
Location: https://graph.qq.com/oauth2.0/authorize?response_type=code&client_id=101119675&redirect_uri=http://passport.jikexueyuan.com/connect/success?t=qq&state=19325e260ec40f525abcfa2545b0c9a4&scope=get_user_info\r\n
```
这里有一个HTTP 302跳转至`https://graph.qq.com/oauth2.0/authorize`，用于获取'Authorization Code'(请参考`http://open.qq.com/`说明)
腾讯的认证使用了OAUTH 2.0的server-side模式，获取认证码的接口定义如下：
>response_type 必须 授权类型，此值固定为“code”。
>client_id 必须 申请QQ登录成功后，分配给应用的appid。
>redirect_uri 必须 成功授权后的回调地址，必须是注册appid时填写的主域名下的地址，建议设置为网站首页或网站的用户中心。注意需要将url进行URLEncode。
>state 必须 client端的状态值。用于第三方应用防止CSRF攻击，成功授权后回调时会原样带回。请务必严格按照流程检查用户与state参数状态的绑定。
fiddler抓日志看的话，可以看到，就是学院的通行证使用QQ登录模块，向腾讯请求认证，主要包含cliet_id和state，redirect_uri为本网站。
然后我们接着看，还可以看到，腾讯graph.qq.com/oauth2.0/authorize模块会会引导至此页面http://openapi.qzone.qq.com：
跳转后的登录验证页面
```
<---
GET /oauth/show?which=ConfirmPage&display=pc&response_type=code&client_id=101119675&redirect_uri=http://passport.jikexueyuan.com/connect/success?t=qq&state=19325e260ec40f525abcfa2545b0c9a4&scope=get_user_info HTTP/1.1\r\n
Host: openapi.qzone.qq.com\r\n
Referer: http://www.jikexueyuan.com/\r\n
--->
HTTP/1.1 200 OK\r\n
```
如果是浏览器，会继续请求下载登录模块，腾讯这里使用IFrame显示：
F12查看
html
```
<---
GET /cgi-bin/xlogin/appid=716027609&style=23&login_text=授权并登录&hide_title_bar=1&hide_border=1&target=self&s_url=http://openapi.qzone.qq.com/oauth/login_jump&pt_3rd_aid=101119675&pt_feedback_link=http://support.qq.com/write.shtml?fid=780&SSTAG=www.jikexueyuan.com.appid101119675 HTTP/1.1\r\n
Host: xui.ptlogin2.qq.com\r\n
Referer: http://www.jikexueyuan.com/\r\n
--->
HTTP/1.1 200 OK\r\n
```
这里就出现了登录按钮，当然也有扫码登录，这里我只分析了无验证登录。我们继续分析，输入QQ账号和密码然后点击“授权并登录”。
浏览器会自动登陆，并且导向到学院主页，我们看一下fiddler都抓到了什么：
1. 校验，返回是否有效登录，并且返回是否需要验证码
2. 登录，这里就是关键的提交登录代码
3. 登录跳转
4. 上报，一个是mstats_report,一个是report_vm
5. 最后是请求授权码，如果有返回值，无论成功与否，腾讯鉴权平台根据redirect_url自动跳转
这个步骤有点多，但是3，4步是否必要需要验证(我是实现了)。还是继续分析HTTP交互过程。
1. 请求校验，返回是否有效登录，并且返回是否需要验证码：
```
<---请求
method: GET
host: check.ptlogin2.qq.com
Param:
GET /check?regmaster=&pt_tea=1&pt_vcode=1&uin=909066038&appid=716027609&js_ver=10138&js_type=1&login_sig=6*d0PfHlaCk9wcqRt1diUu94fNStHN*zaUujdam*-Y9bAegZRbdjYmphbCgVn*B8&u1=http://openapi.qzone.qq.com/oauth/login_jump
--->回应
JSON:
ptui_checkVC('0','!OVV','\x00\x00\x00\x00\x36\x2f\x3f\x36','95acfe9e4e59152feb350ef9065c844acb6881fc7c4915fc96ce9bc91a05b75b0e1b66838644b89cfdf95f4e17b1f657fd43b304d390b2b4','0');
```
这个处理过程请求的参数中，login_sig是从cookies取得，其他参数没有特殊的，返回值第一个标识是否需要校验码，'0'标识不需要，第二个为校验码，登录时需要使用。第三个为转换后的账号，第四个为pt_verifysession_v1可以从cookies中取得，登录时使用。
2. 登录，这里就是关键的提交登录代码
```
<---请求
GET /login?u=909066038&verifycode=!OVV&pt_vcode_v1=0&pt_verifysession_v1=95acfe9e4e59152feb350ef9065c844acb6881fc7c4915fc96ce9bc91a05b75b0e1b66838644b89cfdf95f4e17b1f657fd43b304d390b2b4&p=YNMEEekeNoSmg9XjMRICahp6OF8iPOYcfytn7Yu
host: ptlogin2.qq.com
--->回应
JSON:
ptuiCB('0','0','http://openapi.qzone.qq.com/oauth/login_jump','0','\347\231\273\345\275\225\346\210\220\345\212\237\357\274\201', 'Yo\/jyyo');
```
登录这里有个参数需要注意，就是密码，p为加密后的密码，腾讯的加密方法可以参考c_login_2.js实现。
3.登录跳转，请求了http://openapi.qzone.qq.com/oauth/login_jump，不用分析
4.上报，一个是mstats_report,一个是report_vm, 不用分析
5. 最后是请求授权码，如果有返回值，无论成功与否，腾讯鉴权平台根据redirect_url自动跳转
```
<---请求
Post： 注意是post
host: https://graph.qq.com/oauth2.0/authorize
--->回应
参考下表
请求授权码参数
```
至此，以我跳跃的思路，描述完从登录到获取鉴权码的过程，下一篇进行编码。
网友评论