美文网首页
Python爬虫解析json遇到一类JSONDecodeErro

Python爬虫解析json遇到一类JSONDecodeErro

作者: 放翁lcf | 来源:发表于2018-05-24 23:35 被阅读544次

最近老是和json打交道,作为通过键值对保存数据的有效方式,json确实很好用,今天写一个爬虫的时候,需要提取<script>标签里的坐标(数据例子如下),通过xpath定位之后,虽然可以直接用正则匹配lat、lon,但是为了获取更多的属性,也为了锻炼直接对json的把握,选择了提取json部分再定位到lat、lon;但是用json库的json.loads(astr)的时候遇到了JSONDecodeError解析错误,报错信息如下:

   ……
  File "F:\LynWinTENsoft\Anaconda1014\lib\json\__init__.py", line 354, in loads
    return _default_decoder.decode(s)

  File "F:\LynWinTENsoft\Anaconda1014\lib\json\decoder.py", line 339, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())

  File "F:\LynWinTENsoft\Anaconda1014\lib\json\decoder.py", line 355, in raw_decode
    obj, end = self.scan_once(s, idx)

JSONDecodeError: Expecting property name enclosed in double quotes

输入的字符串astr如下,仔细观察发现这个json的键的部分没有用引号括起来,locallist应该是"locallist"。网上查了一些解决方案,试着用第三方库demjson,在Python 3.6环境下没能正确安装。于是选择了自己写代码解决,给键的部分加上双引号(因为拿下来的json里面有单引号也有可能引发JSONDecodeError: Expecting property name enclosed in double quotes:;因此选择把所有的单引号替换为双引号)

 {
            locallist: [{
                dispid: '1',
                listname: "bj"
            }, {
                dispid: '1145',
                listname: "shijingshan"
            }, {
                dispid: '6065',
                listname: "lugu"
            }],
            infoid: "13",
            lat: "39.908149",
            lon: "116.24602",
            comListname: "yuanyangshanshuibeiqu",
            im: "//j1.58cdn.com.cn/webim/js/entry_v20180521144825.js"
        }

思路就是通过字符串的replace方法将一些特征位置的值替换为有双引号的值,当然也可以用正则实现,单需要生成新字符串,这里只用了replace。把这部分封装为函数,输入为一个json字符串,代码如下:

def jsonPropt(astr):#给json内的键加上双引号
    return astr.replace(' ','').replace('\n','').replace('\r','')\
               .replace("'",'"').replace('{','{"').replace(':','":')\
               .replace('],','],"').replace('",','","')

直接json.loads(astr)会报JSONDecodeError;经过jsonPropt()处理后能正常解析为json。


程序运行效果

相关文章

网友评论

      本文标题:Python爬虫解析json遇到一类JSONDecodeErro

      本文链接:https://www.haomeiwen.com/subject/uyvejftx.html