python--json数据处理

json是轻量级的数据交换格式(JavaScript Object Notation)，在web应用中使用较为频繁，json格式与python内置对象的相互转换，是实现python处理json的第一步。使用内置的json模块即可完成json与python的相互转换。

数据类型

python的常见内置数据类型有dict,tuple等，而在json中，数据类型有object，array等，在相互转换中，类型是一一对应的。在下表中的python数据类型才可以被转为json，集合set、字节byte不能转为json。

Python数据类型	JSON数据类型	说明
dict	object	都用花括号{}表示
list,tuple	array	JSON用中括号[]表示
str	string	JSON用双引号""表示
int,float	number
True	true
False	false
None	null

json模块的主要4个函数。

方法	解释
json.dumps	解析python对象为json字符串
json.dump	解析python对象，输出到json文件
json.loads	解析json字符串为python对象
json.load	输入json文件，解析为python对象

json.dumps

在python中解析python对象为json字符串，使用json.dumps方法。其中indent参数表示缩进，可以优化json输出格式。

import json
# 创建python list对象
obj = [{'a': 1, 'b': {'aa': 11, 'bb': 22}}, {'b': (False,True,None)}]
# 解析python对象，设置缩进
print(json.dumps(obj,indent=4))

[
    {
        "a": 1,
        "b": {
            "aa": 11,
            "bb": 22
        }
    },
    {
        "b": [
            false,
            true,
            null
        ]
    }
]

注意点：

• python字符的单引号被转为双引号
• 关键字False,True,None对应被转为false,true,null
• 元组被转为数组
• 解析后的json本质是字符串

在实际的项目开发中，使用到的python对象可能不止内置的对象，还有可能使用如numpy，pandas，datetime等高频使用的库。如下，将numpy的int32类型的1转为json，发现报错TypeError: Object of type int32 is not JSON serializable，这种类型的报错在python对象转json过程中是非常常见的，报错解释是输入的类型不能序列化。

# 解析python对象，会报错
json.dumps(np.int32(1))

Traceback (most recent call last):
  File "<input>", line 1, in <module>
  File "C:\Anaconda3\lib\json\__init__.py", line 231, in dumps
    return _default_encoder.encode(obj)
  File "C:\Anaconda3\lib\json\encoder.py", line 199, in encode
    chunks = self.iterencode(o, _one_shot=True)
  File "C:\Anaconda3\lib\json\encoder.py", line 257, in iterencode
    return _iterencode(o, 0)
  File "C:\Anaconda3\lib\json\encoder.py", line 179, in default
    raise TypeError(f'Object of type {o.__class__.__name__} '
TypeError: Object of type int32 is not JSON serializable

该类问题的解决办法有两种，一是在数据源处做类型强制转换，如可以用内置的int方法把numpy的int32转为int。

# 解析python对象，强制类型转换
json.dumps(int(np.int32(1)))
'1'

另外一种方法更为灵活（推荐），设置json.dumps参数cls，cls参数输入为类，可以重写jsoneEncoder类中的default方法。

# 自定义类
class MyEncoder(json.JSONEncoder):
    """
    重写json模块JSONEncoder类中的default方法
    """
    def default(self, obj):
        # np整数转为内置int
        if isinstance(obj, np.integer):
            return int(obj)
        else:
            return super(JetEncoder, self).default(obj)

# 解析python对象，设置cls参数
json.dumps(np.int32(1),cls=MyEncoder)
'1'

第二种方法灵活性更好，可以根据项目情况自定义需要转换的类型，当有多个地方都需要转换时，通用性更好。

json.dump

json.dump用于保存python对象为json文件。obj.json文件中会保存解析obj后的json字符串。

# python list对象
print(obj)
[{'a': 1, 'b': {'aa': 11, 'bb': 22}}, {'b': (False, True, None)}]
# 解析python对象并输出到json文件
with open('obj.json','w') as f:
    json.dump(obj,f)

json.loads

json.loads用于加载json字符串，然后解析成python对象。

json_str='{"a":1,"b":{"aa":11,"bb":22}}'
# 解析json字符串为python对象
json.loads(json_str)
{'a': 1, 'b': {'aa': 11, 'bb': 22}}

json.load

json.load用于加载json文件，然后解析成python对象。

# 解析python对象，输出到json文件
with open('obj.json','r') as f:
    print(json.load(f))
[{'a': 1, 'b': {'aa': 11, 'bb': 22}}, {'b': [False, True, None]}]