美文网首页
爬虫数据采集Post随机值问题之一

爬虫数据采集Post随机值问题之一

作者: 八维数据 | 来源:发表于2019-07-13 16:07 被阅读0次

    最近在采集中碰到一个post数据的随机值问题,平常我们在post数据的时候基本上会有常见的变量词,比如page,num等,一看就知道post请求值的变化位置,这次变量值都是一些随机值,不仔细分析还真让我绕了很久。

    分析网址:http://59.175.169.110/web/QyManage/QyList.aspx?qymc=

    先抓包一个分页的post值,看图

    post请求值

    图片中箭头指向的都是随机值变化的,我这边主要搞乱在了,EVENTTARGET上面,就是第一个随机值问题,没注意到这个变化值只变化了两次,首先采集数据前,我们要先抓包首页数据的post数据,

    post首页请求

    这个EVENTTARGET值,我以为一直是 lbtnTop,而这个EVENTTARGET源代码里是没有的,算是固定值,然后在采集中发现,首页和分页用的是不一样的值,从两张图看出,首页用的是lbtnTop,分页用的是 lbtnNext,这个一定要注意了,后面的两个变量值获取,都是通过上一页源代码里的直接获取调用的。

    这种采集方式还是比较特殊的,需要处理post值前要先获取到上一页的随机值进行组合处理的 。

    不懂抓包方法可以看一下这篇文章:https://www.jianshu.com/p/ae34cb6ab446

    投稿人:八维数据

    相关文章

      网友评论

          本文标题:爬虫数据采集Post随机值问题之一

          本文链接:https://www.haomeiwen.com/subject/fhkmkctx.html