3.1餐饮销售额数据异常值检测
#3.1
import pandas as pd
cateringa_sale = 'D:\\chapter3\\demo\\data\catering_sale.xls'
data = pd.read_excel(cateringa_sale,index_col=u'日期') #读取数据,指定日期列为索引列;
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['Simhei'] #用来显示中文字体
plt.rcParams['axes.unicode_minus'] = False #用来显示正常负号
plt.figure()
# p = data.boxplot()
p = data.boxplot(return_type='dict') #画箱线图,直接使用DataFrame的方法
x = p['fliers'][0].get_xdata()
y = p['fliers'][0].get_ydata()
y.sort()
#用annotate添加注释
for i in range(len(x)):
if i > 0:
plt.annotate(y[i],xy=(x[i],y[i]),xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
else:
plt.annotate(y[i],xy=(x[i],y[i]),xytext=(x[i]+0.08,y[i]))
plt.show()
3_1.png
2数据特征分析
分布分析:分布分析能揭示数据的分布特征和分布类型;
定量数据的分布分析;
3Python主要数据探索函数:
python中用于数据探索的库主要是
Pandas
(数据分析)和Matplotlib
(数据可视化),其中,pandas
提供了大量的与数据探索相关的函数,这些数据探索函数可大致分为统计特征函数和统计作图函数,而作图依赖于matplotlib
,所以往往又会跟matplotlib
结合在一起使用;
Pandas主要统计特征函数:
方法名 | 函数功能 | 所属库 |
---|---|---|
sum() | 计算数据样本的总和(按列计算) | Pandas |
mean() | 计算数据样本的算术平均数 | Pandas |
var() | 计算数据样本的方差 | Pandas |
std() | 计算数据样本的标准差 | Pandas |
corr() | 计算数据样本的Spearman(Pearson)相关系数矩阵 | Pandas |
cov() | 计算数据样本的协方差矩阵 | Pandas |
skew() | 样本值的偏度(三矩阵) | Pandas |
kurt() | 样本值的峰值(四矩阵) | Pandas |
describe() | 给出样本的基本描述(基本统计量如均值、标准差等) | Pandas |
- 拓展统计特征函数:除了上述的基本统计特征外,pandas还提供了一些非常方便实用的计算统计特征函数。主要有积累计算(cum)和滚动计算(pd.rolling_)
#销售相关性分析
from __future__ import print_function
import pandas as pd
catering_sale = 'D:\\chapter3\\demo\\data\\catering_sale_all.xls'
data = pd.read_excel(catering_sale,index_col=r'日期') #读取数据
print(data.corr()) #相关系数举证、及给出了任何两款菜市之间的相关系数
print(data.corr()[u'百合酱蒸凤爪']) #只显示“百合酱蒸凤爪”与其他菜式的相关系数
print(data[u'百合酱蒸凤爪'].corr(data[u'翡翠蒸香茜饺'])) #计算“百合酱蒸凤爪”和“翡翠蒸香茜饺”的相关系数
方法名 | 函数功能 | 所属库 |
---|---|---|
cumsum() | 依次给出1,2,3,……,n个数的和 | Pandas |
cumprod() | 依次给出1,2,3,……,n个数的积 | Pandas |
cummax() | 依次给出1,2,3,……,n个数的最大值 | Pandas |
cummin() | 依次给出1,2,3,……,n个数的最小值 | Pandas |
- Pandas累计统计特征函数
方法名 | 函数功能 | 所属库 |
---|---|---|
rolling_sum() | 计算数据样本的总和(按列计算) | Pandas |
rolling_mean() | 数据样本的算术平均数 | Pandas |
rolling_var() | 计算数据样本的方差 | Pandas |
…… | …… | Pandas |
4.统计作图函数
统计作图函数绘制的图标可以只管地反映出数据及统计量的性质及其内在的规律
python的主要作图库是Matplotlib;
Python主要统计作图函数:
作图函数名 | 作图函数功能 | 所属工具箱 |
---|---|---|
plot() | 绘制线性二维图、折线图 | Matplotlib/Pandas |
pie() | 绘制饼图形 | Matplotlib/Pandas |
hist() | 绘制二维条形直方图,可显示数据的分配情形 | Matplotlib/Pandas |
boxplot() | 绘制样本数据的箱型图 | Pandas |
plot(logy=True) | 绘制Y轴的对数图形 | Pandas |
plot(yerr=error) | 绘制误差条形图 | Pandas |
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
#正弦曲线图
x = np.linspace(0,2*np.pi,50)
y = np.sin(x)
plt.plot(x,y,'bp--')
plt.show()
plot.png
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
#饼图
labels = 'Frogs','Hogs','Dogs','logs' #定义标签
sizes = [15,30,45,10] #每一块的比例
colors = ['yellow','gold','lightskyblue','lightcoral'] #每一块的颜色
explore = (0,0.1,0,0) #突出显示,这里仅仅突出显示第二块;
plt.pie(sizes,explode=explore,labels=labels,colors=colors,autopct='%1.1f%%',shadow=True,startangle=90)
plt.axis('equal') #显示为圆
plt.show()
pie.png
#二维直方图
import matplotlib.pyplot as plt
import numpy as np
x = np.random.randn(1000) #产生1000个服从正态分布的随机数
plt.hist(x,10) #分成10组进行绘制直方图
plt.show()
hist.png
#箱型图
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
x = np.random.randn(1000) #产生1000个服从正态分布的随机数
D = pd.DataFrame([x,x+1]).T #构造两类的DataFrame
D.plot(kind='box') #调用series内置的作图方法画图,用kind参数指定箱型图为box
plt.show()
box.png
#plot(logx=True)/plot(logy=True)
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
import numpy as np
import pandas as pd
x = pd.Series(np.exp(np.arange(100)))
x.plot(label=u'原始数据',legend=True)
plt.show()
x.plot(logy=True,label=u'对数数据图',legend=True)
plt.show()
logx.png
logy.png
#误差条形图
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
import numpy as np
import pandas as pd
error = np.random.randn(10) #定义误差列
y = pd.Series(np.sin(np.arange(10))) #均值数据列
y.plot(yerr = error)
plt.show()
error.png
网友评论