美文网首页我爱编程
第三章:数据探索

第三章:数据探索

作者: overad | 来源:发表于2018-03-16 11:39 被阅读0次

    3.1餐饮销售额数据异常值检测

    #3.1
    import pandas as pd
    cateringa_sale = 'D:\\chapter3\\demo\\data\catering_sale.xls'
    data = pd.read_excel(cateringa_sale,index_col=u'日期')    #读取数据,指定日期列为索引列;
    
    import matplotlib.pyplot as plt
    plt.rcParams['font.sans-serif'] = ['Simhei']    #用来显示中文字体
    plt.rcParams['axes.unicode_minus'] = False      #用来显示正常负号
    
    plt.figure()
    
    # p = data.boxplot()
    p = data.boxplot(return_type='dict') #画箱线图,直接使用DataFrame的方法
    
    x = p['fliers'][0].get_xdata()
    y = p['fliers'][0].get_ydata()
    y.sort()
    
    #用annotate添加注释
    for i in range(len(x)):
        if i > 0:
            plt.annotate(y[i],xy=(x[i],y[i]),xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
        else:
            plt.annotate(y[i],xy=(x[i],y[i]),xytext=(x[i]+0.08,y[i]))
    
    plt.show()
    
    3_1.png

    2数据特征分析

    分布分析:分布分析能揭示数据的分布特征和分布类型;
    定量数据的分布分析;

    3Python主要数据探索函数:

    python中用于数据探索的库主要是Pandas(数据分析)和Matplotlib(数据可视化),其中,pandas提供了大量的与数据探索相关的函数,这些数据探索函数可大致分为统计特征函数和统计作图函数,而作图依赖于matplotlib,所以往往又会跟matplotlib结合在一起使用;

    Pandas主要统计特征函数:

    方法名 函数功能 所属库
    sum() 计算数据样本的总和(按列计算) Pandas
    mean() 计算数据样本的算术平均数 Pandas
    var() 计算数据样本的方差 Pandas
    std() 计算数据样本的标准差 Pandas
    corr() 计算数据样本的Spearman(Pearson)相关系数矩阵 Pandas
    cov() 计算数据样本的协方差矩阵 Pandas
    skew() 样本值的偏度(三矩阵) Pandas
    kurt() 样本值的峰值(四矩阵) Pandas
    describe() 给出样本的基本描述(基本统计量如均值、标准差等) Pandas
    • 拓展统计特征函数:除了上述的基本统计特征外,pandas还提供了一些非常方便实用的计算统计特征函数。主要有积累计算(cum)和滚动计算(pd.rolling_)
    #销售相关性分析
    
    from __future__ import print_function
    import pandas as pd
    
    catering_sale = 'D:\\chapter3\\demo\\data\\catering_sale_all.xls'
    
    
    data = pd.read_excel(catering_sale,index_col=r'日期')     #读取数据
    
    print(data.corr()) #相关系数举证、及给出了任何两款菜市之间的相关系数
    print(data.corr()[u'百合酱蒸凤爪'])  #只显示“百合酱蒸凤爪”与其他菜式的相关系数
    print(data[u'百合酱蒸凤爪'].corr(data[u'翡翠蒸香茜饺']))    #计算“百合酱蒸凤爪”和“翡翠蒸香茜饺”的相关系数
    
    方法名 函数功能 所属库
    cumsum() 依次给出1,2,3,……,n个数的和 Pandas
    cumprod() 依次给出1,2,3,……,n个数的积 Pandas
    cummax() 依次给出1,2,3,……,n个数的最大值 Pandas
    cummin() 依次给出1,2,3,……,n个数的最小值 Pandas
    • Pandas累计统计特征函数
    方法名 函数功能 所属库
    rolling_sum() 计算数据样本的总和(按列计算) Pandas
    rolling_mean() 数据样本的算术平均数 Pandas
    rolling_var() 计算数据样本的方差 Pandas
    …… …… Pandas

    4.统计作图函数

    统计作图函数绘制的图标可以只管地反映出数据及统计量的性质及其内在的规律
    python的主要作图库是Matplotlib;

    Python主要统计作图函数:

    作图函数名 作图函数功能 所属工具箱
    plot() 绘制线性二维图、折线图 Matplotlib/Pandas
    pie() 绘制饼图形 Matplotlib/Pandas
    hist() 绘制二维条形直方图,可显示数据的分配情形 Matplotlib/Pandas
    boxplot() 绘制样本数据的箱型图 Pandas
    plot(logy=True) 绘制Y轴的对数图形 Pandas
    plot(yerr=error) 绘制误差条形图 Pandas
    import pandas as pd
    import numpy as np
    import matplotlib.pyplot as plt
    
    #正弦曲线图
    x = np.linspace(0,2*np.pi,50)
    y = np.sin(x)
    plt.plot(x,y,'bp--')
    plt.show()
    
    plot.png
    import pandas as pd
    import numpy as np
    import matplotlib.pyplot as plt
    #饼图
    labels = 'Frogs','Hogs','Dogs','logs'   #定义标签
    sizes = [15,30,45,10]   #每一块的比例
    colors = ['yellow','gold','lightskyblue','lightcoral']  #每一块的颜色
    explore = (0,0.1,0,0)   #突出显示,这里仅仅突出显示第二块;
    plt.pie(sizes,explode=explore,labels=labels,colors=colors,autopct='%1.1f%%',shadow=True,startangle=90)
    plt.axis('equal')   #显示为圆
    plt.show()
    
    pie.png
    #二维直方图
    import matplotlib.pyplot as plt
    import numpy as np
    x = np.random.randn(1000)   #产生1000个服从正态分布的随机数
    plt.hist(x,10)  #分成10组进行绘制直方图
    
    plt.show()
    
    hist.png
    #箱型图
    import matplotlib.pyplot as plt
    import pandas as pd
    import numpy as np
    x = np.random.randn(1000)    #产生1000个服从正态分布的随机数
    D = pd.DataFrame([x,x+1]).T     #构造两类的DataFrame
    D.plot(kind='box')              #调用series内置的作图方法画图,用kind参数指定箱型图为box
    plt.show()
    
    box.png
    #plot(logx=True)/plot(logy=True)
    import matplotlib.pyplot as plt
    plt.rcParams['font.sans-serif'] = ['SimHei']    #用来正常显示中文标签
    plt.rcParams['axes.unicode_minus'] = False      #用来正常显示负号
    import numpy as np
    import pandas as pd
    
    x = pd.Series(np.exp(np.arange(100)))
    x.plot(label=u'原始数据',legend=True)
    plt.show()
    
    x.plot(logy=True,label=u'对数数据图',legend=True)
    plt.show()
    
    logx.png logy.png
    #误差条形图
    import matplotlib.pyplot as plt
    plt.rcParams['font.sans-serif'] = ['SimHei']    #用来正常显示中文标签
    plt.rcParams['axes.unicode_minus'] = False      #用来正常显示负号
    import numpy as np
    import pandas as pd
    
    error = np.random.randn(10) #定义误差列
    y = pd.Series(np.sin(np.arange(10)))  #均值数据列
    y.plot(yerr = error)
    plt.show()
    
    error.png

    相关文章

      网友评论

        本文标题:第三章:数据探索

        本文链接:https://www.haomeiwen.com/subject/rzgfqftx.html