【2017-09-13】数据编码与处理（一）

csv文件及json数据处理

• 读写csv文件

  读与写常用函数

  • csv.reader(),读取为一个元组的序列
  • csv.DictReader() ,读取为一个字典序列
  • csv.writer()
  • csv.DictWriter()

  读取csv文件

import csv
from collections import namedtuple

with open("country.csv","r") as f:
       csv_r=csv.reader(f)
       headers=next(csv_r)
       Row=namedtuple("Row",headers)
       for r in csv_r:
              row=Row(*r)
              print(row)

  写csv文件，通常情况下，写入csv文件内容会空一行，为了解决该问题，python3，需要添加参数newline=''；python2将模式改成wb即可

#示例：写入字典的序列，使用DictWriter（）
headers = ['Symbol', 'Price', 'Date', 'Time', 'Change', 'Volume']
rows = [{'Symbol':'AA', 'Price':39.48, 'Date':'6/11/2007',
         'Time':'9:36am', 'Change':-0.18, 'Volume':181800},
        {'Symbol':'AIG', 'Price': 71.38, 'Date':'6/11/2007',
          'Time':'9:36am', 'Change':-0.15, 'Volume': 195500},
        {'Symbol':'AXP', 'Price': 62.58, 'Date':'6/11/2007',
          'Time':'9:36am', 'Change':-0.46, 'Volume': 935000}]
with open("text.csv","w",,newline='') as f:
       f_csv=csv.DictWriter(f,headers)
       f_csv.writeheader()
       f_csv.writerows(rows)

  值得注意的是，csv产生的数据为字符串类型，如需要转化成对应数据类型，必现做一个数据类型的转换，此时推导式排上用场

#示例1：转化成特定数据类型的元组
data_type=[str,float,str,str,float,int]
with open("text.csv","r") as f:
       f_csv=csv.reader(f)
       headers=next(f_csv)
       for item in f_csv:
              row=tuple((convert(value)for convert,value in zip(data_type,item)))
              print(row)

#示例2：转化成字典序列
field_types = [
        ('Symbol',str),
        ('Price',float),
        ('Date',str),
         ('Time',str),
         ('Change',float),
         ('Volume',int)]
with open('text.csv') as f:
       for row in csv.DictReader(f):
              print(row)
              row.update((key, conversion(row[key]))for key, conversion in field_types)
              print(row)

• 读写json数据
  Json 即JavaScript Object Notation的简称, 支持的基本数据类型有bool、int、float、str、None、以及包含这些基本数据类型的lists、dictionaries（keys需要字符类型）、tuples。
  python中，json编码与解码字符串，主要函数是json.dumps()和json.loads()

>>> import json
>>> data = {
'name' : 'ACME',
'shares' : 100,
'price' : 542.23
}
>>> json.dumps(data)
'{"shares": 100, "name": "ACME", "price": 542.23}'
>>> json_str=json.dumps(data)
>>> json.loads(json_str)
{'shares': 100, 'name': 'ACME', 'price': 542.23}
>>> 

  如果要处理的是文件，而不是字符串，则使用json.dump()、json.load()

import json
data = {
'name' : 'ACME',
'shares' : 100,
'price' : 542.23
}

with open("json.json","w") as f:
    json.dump(data,f)

  JSON 编码的格式对于 python 语法而已几乎是完全一样的，除了一些小的差异之外。比如， True 会被映射为 true， False 被映射为 false，而 None 会被映射为 null。

>>> import json
>>> d = {'a': True, 'b': 'Hello', 'c': None}
>>> json.dumps(d)
'{"c": null, "a": true, "b": "Hello"}'
>>> 

  格式化json编码后的数据，尤其对于数据结构嵌套深或者包含大量字段，通常直接打印来看的话，可读性比较差，可以通过格式化的方式、提高可读性。
- pprint()应用
- dumps()函数中使用indent参数

>>> strs={  
    'employee':  
    {  
        'firstName': "John",  
        'lastName' : "Doe",  
        'employeeNumber' : 123,  
        'title' : "Accountant"  
    }  
}
>>> json_Str=json.dumps(strs,indent=4)
>>> print(json_Str)
{
    "employee": {
        "employeeNumber": 123,
        "lastName": "Doe",
        "firstName": "John",
        "title": "Accountant"
    }
}
>>> 

  一般来说，json编码loads()会根据指定数据创建lists或者dictionaries，如果你想要创建其他类型的对象，可以给 json.loads() 传递 object pairs hook 或 object hook 参数。

>>>#__dict__（）将字典转化成对象属性
>>> class JSONObject:
    def __init__(self, d):
        self.__dict__ = d
>>> s = '{"name": "ACME", "shares": 50, "price": 490.1}'
>>> data = json.loads(s, object_hook=JSONObject)
>>> data.name
'ACME'
>>> 

参考文章：
http://www.cnblogs.com/to-creat/p/7215510.html
https://www.crifan.com/python_csv_writer_writerow_redundant_new_line/