美文网首页
csmar中csv格式数据导入python中的问题

csmar中csv格式数据导入python中的问题

作者: 名字就起八个字吧 | 来源:发表于2019-10-04 09:39 被阅读0次

    以txt格式下载csmar上日回报率的文件后,在不管是用pandas的read_csv,read_table还是open()方法,一直返回的是编码错误。

    已经尝试过的编码有:utf-8(-sig),gbk,gb2312,gb18030,ISO-8859-1(这个最不能用。。。把我的电脑都给差点干死了)

    此外,在不管是调整这个方法下的任意参数,如delimiter等,仍然报错的是:

    UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

    日。。。放弃了。。。

    之后找了excel下载下来,但是问题就是说excel有行数限制,下载下来的数据被拆分成了3个excel,所以你需要把这3个几把给拼接起来。我参考并且自己写的代码如下:

    import pandas as pdpath = 'C:/Users/14665/Desktop/essays/G Design/data/file/{}.xlsx'

    txt_list = [path.format(x) for x in ['TRD_Dalyr', 'TRD_Dalyr1', 'TRD_Dalyr2']]

    data = [pd.read_excel(excel_path, skiprows = [1,2]) for excel_path in txt_list]

    frame = pd.concat(data)

    非常简单,非常优雅呵,201万行的数据就这样子拼成一个dataframe了。

    唉还有一个是。。。找了一个中小券商固收部的远程实习。。。meager pay。。。but better than nothing,i can still hang on with the stuff in school and get to spend more time with Yeah。。。waaaaaaaay worse than previously imagined, but fair enough i guess。。。in today's internship market。。。

    相关文章

      网友评论

          本文标题:csmar中csv格式数据导入python中的问题

          本文链接:https://www.haomeiwen.com/subject/ypnpyctx.html