美文网首页py接口自动化
python接口自动化(十七)--Json 数据处理---一次爬

python接口自动化(十七)--Json 数据处理---一次爬

作者: 北京_宏哥 | 来源:发表于2019-12-02 11:41 被阅读0次

    简介

      有些 post 的请求参数是 json 格式的,这个前面发送post 请求里面提到过,需要导入 json模块处理。现在企业公司一般常见的接口因为json数据容易处理,所以绝大多数返回数据也是 json 格式的,我们在做判断时候,往往只需要提取其中

    几个关键的参数就行,这时候我们就需要 json 来解析返回的数据了。首先来说一下笔者为何要单独写这么一篇,原因是:python 里面 bool 值是 True 和 False,json 里面 bool 值是 true和 false,并且区分大小写,这就尴尬了,明明都是 bool 值。

    在python里面写的代码,传到json里,不用说肯定识别不了,所以需要把python的代码经过encode后成为 json 可识别的数据类型,反之json数据就需要decode后成为python代码可识别的数据类型。这个也是需要初学者注意,也算是个细微差和

    一个坑人的地方吧,如果不注意很容易掉坑里啊。笔者就掉进去过,还好自救能力强,爬出来了,所以为了警醒后来者,就有了这篇随笔。

    json 模块简介

    1、Json 简介:Json,全名 JavaScript Object Notation,JSON(JavaScript Object Notation(记号、标记)) 是一种轻量级的数据交换格式。它基于JavaScript(Standard ECMA-262 3rd Edition - December 1999)的一个子集。 JSON采用完全独立

    于语言的文本格式,但是也使用了类似于C语言家族的习惯(包括C, C++, C#, Java, JavaScript, Perl, Python等)。这些特性使JSON成为理想的数据交换语言。JSON易于人阅读和编写,同时也易于机器解析和生成。常用于 http 请求中,接口

    返回的数据中。

    2、可以用 help(json),查看对应的源码注释内容

     编码Encode(python->json)

    1、为什么要 encode,笔者在开头就给各位小伙伴开门见山的说出来了,让各位带着问题来探索、来学习、来思考

    2、举个简单例子,下图的实例中 dict 类型经过 json.dumps()后变成 str,True 变成了 true,False变成了 fasle

    3、从json模块的对应源码中可以查看到,python  数据转化成 json可识别的数据,对应的表关系如下

    解码 decode(json->python)

    1、以博客园的登录成功结果:{"success":True}为例,我们其实最想知道的是 success 这个字段返回的是 True 还是 False,以便于我们对接口进行断言,以下是fiddler抓包博客园登录成功的结果

    2、如果以 content 字节输出,返回的是一个字符串:{"success":true},这样获取后面那个结果就不方便了,导致断言也不方便

    3、如果经过 json 解码后,返回的就是一个字典:{u'success': True},这样获取后面那个结果,就用字典的方式去取值:result2["success"],这样不言而喻断言也就简单方便了

    4、由于博客园的登录机制的改变,我们这里接着上一篇的删除随笔的返回结果,给小伙伴们实战演练一下

    5、用fiddler抓包,抓到删除新建随笔的请求,从抓包结果可以看出,返回结果是一个字符串:{"isSuccess":True},按照上边的步骤用代码实现

    6、代码及结果(看到了吧,就是这么轻松被我们取到其value了,接下来就可以进行断言了)

    7、从json模块的对应源码中可以查看到, json 数据转化成 python 可识别的数据,对应的表关系如下

    8、参考代码

    1# coding:utf-8 2import requests 3# 先打开登录首页,获取部分cookie 4url ="https://passport.cnblogs.com/user/signin" 5headers = { 6"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0" 7}  # get方法其它加个ser-Agent就可以了 8s = requests.session() 9r = s.get(url, headers=headers,verify=False)10print (s.cookies)11# 添加登录需要的两个cookie12c = requests.cookies.RequestsCookieJar()13c.set('.CNBlogsCookie','XXX')  # 填上面抓包内容14c.set('.Cnblogs.AspNetCore.Cookies','XXX')  # 填上面抓包内容15c.set('AlwaysCreateItemsAsActive',"True")16c.set('AdminCookieAlwaysExpandAdvanced',"True")17s.cookies.update(c)18print (s.cookies)19result = r.content20print(result.decode('utf-8'))21# 登录成功后保存编辑内容22url2="https://i.cnblogs.com/EditPosts.aspx?opt=1"23body = {"__VIEWSTATE":"",24"__VIEWSTATEGENERATOR":"FE27D343",25"Editor$Edit$txbTitle":"这是绕过登录的标题:北京-宏哥",26"Editor$Edit$EditorBody":"<p>这里是中文内容:http://www.cnblogs.com/duhong/</p>",27"Editor$Edit$Advanced$ckbPublished":"on",28"Editor$Edit$Advanced$chkDisplayHomePage":"on",29"Editor$Edit$Advanced$chkComments":"on",30"Editor$Edit$Advanced$chkMainSyndication":"on",31"Editor$Edit$lkbDraft":"存为草稿",32        }33r2 = s.post(url2, data=body, verify=False)34print (r.content.decode('utf-8'))3536# 第三步:正则提取需要的参数值37import re38postid = re.findall(r"postid=(.+?)&", r2.url)39print(type(postid))40print (postid) # 这里是 list41# 提取为字符串42print (postid[0])43# 第四步:删除草稿箱44url3 ="https://i.cnblogs.com/post/delete"45json3 = {"postId": postid[0]}46r3 = s.post(url3, json=json3, verify=False)47result = r3.content #content数据是字节输出48print(type(result))49print(result)50#json是经过加码encode成对应python的数据类型51result1 = r3.json()52print (type(result1))53print(result1['isSuccess'])

     小结

      在实际工作中遇到问题要学会查资料,看其对应的官方文档以及源码,不仅可以起到事半功倍的作用,也可以锻炼自己解决问题的能力。这一点笔者深有体会!!!

    相关文章

      网友评论

        本文标题:python接口自动化(十七)--Json 数据处理---一次爬

        本文链接:https://www.haomeiwen.com/subject/jybxgctx.html