转载：https://www.cnblogs.com/crazysquirrel/p/6562320.html?utm_source=tuicool&utm_medium=referral
在数据分析中经常需要从csv格式的文件中存取数据以及将数据写书到csv文件中。将csv文件中的数据直接读取为dict类型和DataFrame是非常方便也很省事的一种做法，以下代码以鸢尾花数据为例。
csv文件读取为dict
代码
# -*- coding: utf-8 -*-importcsvwithopen('E:/iris.csv')ascsvfile: reader = csv.DictReader(csvfile, fieldnames=None)# fieldnames默认为None,如果所读csv文件没有表头，则需要指定list_1 = [eforeinreader]# 每行数据作为一个dict存入链表中csvfile.close()printlist_1[0]
输出
{'Petal.Length':'1.4','Sepal.Length':'5.1','Petal.Width':'0.2','Sepal.Width':'3.5','Species':'setosa'}
如果读入的每条数据需要单独处理且数据量较大，推荐逐条处理然后再放入。
list_1 = list()foreinreader: list_1.append(your_func(e))# your_func为每条数据的处理函数
多条类型为dict的数据写入csv文件
代码
# 数据data = [{'Petal.Length':'1.4','Sepal.Length':'5.1','Petal.Width':'0.2','Sepal.Width':'3.5','Species':'setosa'},{'Petal.Length':'1.4','Sepal.Length':'4.9','Petal.Width':'0.2','Sepal.Width':'3','Species':'setosa'},{'Petal.Length':'1.3','Sepal.Length':'4.7','Petal.Width':'0.2','Sepal.Width':'3.2','Species':'setosa'},{'Petal.Length':'1.5','Sepal.Length':'4.6','Petal.Width':'0.2','Sepal.Width':'3.1','Species':'setosa'}]# 表头header = ['Petal.Length','Sepal.Length','Petal.Width','Sepal.Width','Species']printlen(data)withopen('E:/dst.csv','wb')asdstfile:#写入方式选择wb，否则有空行writer = csv.DictWriter(dstfile, fieldnames=header) writer.writeheader()# 写入表头writer.writerows(data)# 批量写入dstfile.close()
上述代码将数据整体写入csv文件，如果数据量较多且想实时查看写入了多少数据可以使用writerows函数。
读取csv文件为DataFrame
代码
# 读取csv文件为DataFrameimportpandasaspddframe= pd.DataFrame.from_csv('E:/iris.csv')
也可以稍微曲折点：
importcsvimportpandasaspdwithopen('E:/iris.csv')ascsvfile: reader = csv.DictReader(csvfile, fieldnames=None)# fieldnames默认为None,如果所读csv文件没有表头，则需要指定list_1 = [eforeinreader]# 每行数据作为一个dict存入链表中csvfile.close()dfrme = pd.DataFrame.from_records(list_1)
从zip文件中读取指定csv文件为DataFrame
dst.zip文件中包含有dst.csv和其它文件，现在在不解压缩的情况下直接读取dst.csv文件为DataFrame.
importpandas as pdimportzipfilez_file = zipfile.ZipFile('E:/dst.zip')dframe = pd.read_csv(z_file.open('dst.csv'))z_file.close()printdframe
DataFrame写入csv文件
dfrme.to_csv('E:/dst.csv',index=False)# 不要每行的编号
读取txt文件为DataFrame
importpandasaspdframe = pd.read_table(path, header=None, index_col=False, delimiter='\t', dtype=str)frame = pd.read_table(src_path, delimiter='|', header=None, error_bad_lines=False)
src_path:txt文件路径
delimiter:字段分隔符
header:表头
error_bad_lines: 是否忽略无法读取的行(文件中部分行由于认为事物造成读取错误)
dtype:数据读入后的存储类型
网友评论