每次爬虫都感觉很新鲜，总是有新的收获，总能学到很多新知识，这话一点不假。
和建站的同行们斗智斗勇总是其乐无穷。
这次爬虫起源于在家里看剧，寻找资源是找到了这么个站：
1.png
想着点击度盘下载，不料跳出一个这个玩意：
2.png
这下就有点烦了，闲着无聊，习惯性地F12，右键查看，想找度盘地址，看到这么个函数：
3.png
那就找找localdown()呗
先是找找外部加载的js,看了看没有，判断不是外部加载的。在html中直接crtl+F搜索localdown，也没找到这个函数，只发现了这个：
5.png
???WTF，what is this???为什么出现了eval()?function(p,a,c,k,e,r)是什么鬼？
这下我就有点懵逼了。经过一番思索和查询，了解到
eval()书本上，网上最常见的使用例子是计算字符串，但实际上它的功能是将接收的字符串当做js代码来执行。这里里面放了一个带参数的函数表达式，因此就会执行这个函数表达式。于是我把这串代码复制到了本地，由于本地使用node环境，在函数中的
return p
之前加了一串
console.log(p)
将这串代码一运行：
function a(p, a, c, k, e, r) {
e = function (c) {
return c.toString(a)
};
if (!''.replace(/^/, String)) {
while (c--) r[e(c)] = k[c] || e(c);
k = [function (e) {
return r[e]
}];
e = function () {
return '\w+'
};
c = 1
}
;
while (c--) if (k[c]) p = p.replace(new RegExp('\b' + e(c) + '\b', 'g'), k[c]);
console.log(p);
return p
}
a('9(1.2("4")){1.2("4").7=a;c d=g;c 5=3;8()}e 8(){9(5==0){1.2("4").6="开始下载";1.2("4").7=h}i{1.2("4").6="防刷新 "+5;5--;j.k("8()",d)}}e l(){1.2("m").6="b";1.2("f").o="?p=q"+"b&n="+r(s*t.u());1.2("f").v();1.2("4").7=a;1.2("4").6=" 下载中... "}', 32, 32, '|document|getElementById||btsubmit|wait|value|disabled|updateinfo|if|true||var|speed|function|downform|1000|false|else|window|setTimeout|localdown|ac||action|act|sub|parseInt|10000000000|Math|random|submit'.split('|'), 0, {});
就跑出来这么个结果：
6.png
放在IDE里一看，好家伙，真把函数藏这了：
7.png
这个可能是函数混淆或者打包，压缩的结果，为了安全或者性能考虑吧，整出一个这玩意。居然用eval()输出这段代码，我。。。
可以看到在表单提交的时候，将id为ac的input元素节点里的值设置为了b，这个算是个伏笔，和后面查看post请求中的data相对应。
函数找到了，对照着寻找html的表单就找到了对应的部分（html部分也复制到IDE中）：
8.png
注意到这个表单中，居然有4个隐藏的input元素，type=hidden，我心里一阵mmp，这又是为啥?转念一想
是不是靠这个来确定资源的id呢？movid应该指的就是资源的ID。
这四个待会也会在表单的data中见面。
到这里就发现不对劲啊，在下载页面，我输了验证码之后，点开始下载，页面就直接跳转到度盘地址了，网页被重定向了，但是表单的action指向了
9.png
不是度盘地址啊，于是带着好奇的心情，在浏览器的地址栏里输入了构造好的url：
http://www.dlkoo.com/down/downfile.asp?act=subb&n=7655088886
返回来这么一个结果
10.png
这一下子可是点燃了我的斗志啊，要防盗链是吧?
立马F12,把正常流程走了一遍，开始抓包，但是遇到了第一个问题,包呢？
怎么找只有请求度盘url的包，怎么找不到请求url为
http://www.dlkoo.com/down/downfile.asp?act=subb&n=7655088886的包呢？
这不可能啊！？
注意到chorme这里有一个log记录可以勾选,勾选后就抓到了这个包:
11.png
发现这个post包的状态码为302，即重定向，response header中包含了跳转页面度盘的url,因此之前抓不到包是因为页面经过了重定向，network被刷过一次新，之前没开preserve log，就被刷新掉了，所以看不见。
发现了这个问题，思路上终于清晰起来，可以打开pycharm了。
在python3上使用requests库
构建header，使用session维持cookie,而且完成模拟的步骤，还需要输入验证码，因此一步一步来。
首先人眼本地识别验证码
r=req.get('http://www.dlkoo.com/down/GetCode.asp')
imgpath = 'E:/demo/rijvpc/1.jpg'
with open(imgpath, 'wb') as f:
f.write(r.content)
code=str(input('请输入验证码'))
然后
headers={
'Host':'www.dlkoo.com',
'Referer':'http://www.dlkoo.com/down/downfile.asp?did=331878',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36'
}
data={
'id':'1',
'did':'331878',
'ac':'b',
'movid':'442578091',
'codestr':code
}
r2 = req.post('http://www.dlkoo.com/down/downfile.asp?act=subb&n='+suiji, data=data,headers=headers)
print(r2.status_code)
print(r2.text)
print(r2.headers)
这里有一些注意的地方：
1.post提交的表单中数字值一律用字符串，这是要使用str函数的原因
2.post中data不是json,requests库中另有json方法
猜猜输出了啥呢?
print(r2.status_code) //500
print(r2.text) // 啥也没有
print(r2.headers) //输出headers，用于对照浏览器成功的包
什么不应该是302吗？为什么是500呢？？500啥意思？
500：
12.png
别人的源码肯定没错，那肯定是我这边的问题啊！
开始漫长的排错工作，改headers，改这，改那，都没用，这可咋整啊，都到了最后一步怎么能放弃呢？
经过漫长的思索，想起来之前看过的一个python爬虫视频，里面在调错时，是先尝试错的，再试对的，如果真的是headers有问题，输错验证码，应该也不能正常返回结果！
因此做了个小尝试：
14.png
这一下子就说明了一个问题，问题应该不是出在header上，因为输错验证码的页面被正常返回了
那么为什么输入正确的验证码不能返回正确的包呢？
几番尝试，仍没有答案，
最后快要放弃之时，多输入了一个
print(r2.url)
结果返回的不是post里的url,而是一个度盘的地址
18.png
其实在一开始就已经成功了，但是由于r2.text为空，r2.status_code为500，看起来就像post失败了一样，post提交的重定向包，由于某些原因，在服务器端发生了一些错误，但是返回的response中包含了重定向的url。
爬虫就这样告一段落，感触还是很多，因为实战经验很少，我也不是做后端开发，每次只有在爬虫中抓包，发包中寻找问题，才能熟悉这些http状态码真正的表现和含义,丰富了抓包，发包关于web技巧和知识，累计一些js技巧，感觉很受用。
p.s
在改headers的错误方向上前进是曾经怀疑过这串代码
75.png
为什么要加一串随机字符串？客户端生成的随机字符串想象不出来有什么用。于是百度一下：
22.png
爬虫，总能有些意外的收获
网友评论