美文网首页
pandas read_csv/read_table读文件时出现

pandas read_csv/read_table读文件时出现

作者: Babyzpj | 来源:发表于2018-08-29 09:48 被阅读0次

背景:读取文件(文件很大,上亿行)时,常常会出现编码的问题,因为文件默认编码时utf-8,所以在读取文件时,用如下方法读取:

data =pd.read_table(filename, header=None,sep="\001", encoding="utf-8",error_bad_lines=False)
但是,常常在文件快读完时,报如下错误: image.png

经过苦苦查找资料,终于找到了如下解决办法

方法一、(推荐使用该方法):(https://stackoverflow.com/questions/18171739/unicodedecodeerror-when-reading-csv-file-in-pandas-with-python):

image.png

即:将encoding="utf-8"用 encoding= 'latin1' 或 encoding='ISO-8859-1'替换即可解决该问题。

方法二、在前面增加一个读取文件的操作即如下:

filename = open('文件名', encoding='utf-8')
data = pd.read_table(filename, header=None,sep="\001", encoding="utf-8",error_bad_lines=False)

相关文章

网友评论

      本文标题:pandas read_csv/read_table读文件时出现

      本文链接:https://www.haomeiwen.com/subject/pihhwftx.html