美文网首页
pandas库读取与存储外部数据

pandas库读取与存储外部数据

作者: 文嘉达_0da8 | 来源:发表于2020-06-18 20:37 被阅读0次

    1. CSV文件的读取

    read_csv:从文件中加载带分隔符的数据,默认分隔符为逗号
    read_table:从文件中加载带分隔符的数据,默认分隔符为制表符

    • 指定分隔符号读取
    df=pd.read_csv('catering_sale.csv',sep=' ')
    
    • 指定列作为索引
    df=pd.read_csv('catering_sale.csv',index_col='id' )
    
    • 指定标题
    df=pd.read_csv('catering_sale.csv', header=None)
    df=pd.read_csv('catering_sale.csv',names=['id','name','grade'])
    
    • 指定读取行数量和通过usecols参数进行部分列的选取
    df=pd.read_csv('catering_sale.csv',nrows=2,usecols=['Survived','Sex'])
    
    • 指定chunksize分块读取文件
    table=pd.read_table(path+'kuaishou.txt',sep='\t',chunksize=1000000)
    df_list=[]
    for df in table:
       #1.对每一个分块df处理
       #2.添加每一个df(df_list.append(df))
       #print(type(df),df.shape)打印看一下信息
    df = pd.concat(df_list, ignore_index=True)
    

    2. json的读取

    import json
    f=open('C:Python对比excel基础\对比Excel,轻松学习Python\order-14.json')
    obj=f.read()
    result=json.loads(obj) #也可以通过json.dumps将字符串转化为json
    df=pd.DataFrame(result)
    

    也可以通过read_json来读取json数据

    df=pd.read_json('C:Python对比excel基础\对比Excel,轻松学习Python\order-14.json')
    

    3. Excel的读取

    • 指定读取的工作簿
    pd.read_excel('C:Python对比excel基础\对比Excel,轻松学习Python\order-14.xlsx',sheet_name='out')
    

    4. 连接数据库

    import pymysql
    conn=pymysql.connect(
       host='localhost',
       user='root',
       passwd='123',
       db='mydb',
       port=3306,
       charset='utf-8')
    df=pd.read_sql('   ')
    ———————————————————
    以上内容均来自书籍或网络,为个人的学习笔记,如有侵权,请联系删帖。

    相关文章

      网友评论

          本文标题:pandas库读取与存储外部数据

          本文链接:https://www.haomeiwen.com/subject/utvexktx.html