美文网首页我爱编程
【python】pandas read_json读取json格式

【python】pandas read_json读取json格式

作者: tommyjex | 来源:发表于2018-04-12 23:34 被阅读0次

json文件内容是从豆瓣电影中爬取的用户评论
上代码

import pandas as pd
import numpy as np

filepath='C:/python/data_src/CommentsSpider.json'
data=pd.read_json(filepath,orient='values',encoding='utf-8') 

若json文件中有中文,必须加上encoding参数,赋值'utf-8',否则会报错

image.png

看数据发现有些不对劲,虽然pandas read_json都出了json文件内容,但每个单元格都是一个list列表,我们需要将所有这些列表展开,生成新的dataframe

展开方法比较粗暴,遍历每个的单元格,一个一个展开。

def frame(i):
    j=0 #初始化j
    col_index=[] #初始化col_index
    for j in range(len(data.columns)):
        col_index.append(data.iloc[i,j])
    data_index=pd.DataFrame(col_index,index=data.columns).T
  #col_index是要给Series列表,把Series列表转换为DataFrame表格
    return data_index

df_all=pd.DataFrame(columns=data.columns) #初始化一个空的dataframe
i=0  #初始化i
for i in range(len(data.index)):
    df_one=frame(i)
    df_all=df_all.append(df_one) #append()方法不会改变原值,需要进行重新赋值

运行上述代码后,正确的结果如下图所示,是我们想要的。


正确的结果(前12行)

相关文章

网友评论

    本文标题:【python】pandas read_json读取json格式

    本文链接:https://www.haomeiwen.com/subject/ayrqkftx.html