学习目标 业务场景 金融数据的参数（股票代码、开始时间、结束时间、每隔多少分钟获得一次数据） 时序数据的重采——比如已知每小时数据，怎样得到每天的数据。高频到低频属于降采样，低频到高频是升采样，那么遇到空值得fillna 频率参数 滚动统计法，可以计算五日均线十日均线等等

代码

import pandas as pd
import os
import matplotlib.pyplot as plt
import tushare

stock_code = '002680'
outpath = '/Users/miraco/PycharmProjects/DataMining/output3'

#数据获取，获取每60分钟的数据
stock_df = tushare.get_k_data(code  =stock_code, 
                              start = '2008-07-30', 
                              end = '2018-07-30', 
                              ktype= '60'
                              )

#数据处理
stock_df['date'] = pd.to_datetime(stock_df['date'])

#对时序类型进行操作时，要将时序类型设置成index，才方便操作，否则在统计方面容易有问题
stock_df.set_index('date', inplace = True)

#重采样
resampled_stock_df = stock_df.resample('D').last()
resampled_stock_df.dropna(inplace = True)

#计算收盘价的5日滚动均值（5日均线）、30日均线、60日均线
resampled_stock_df['MA 5'] = resampled_stock_df['close'].rolling(window=5).mean()
resampled_stock_df['MA 30'] = resampled_stock_df['close'].rolling(window=30).mean()
resampled_stock_df['MA 60'] = resampled_stock_df['close'].rolling(window=60).mean()

#存数据
resampled_stock_df.to_csv(os.path.join(outpath,'stock_ext.csv'))

#画折线图、收盘价，五日均线，三十日均线，六十日均线
resampled_stock_df[['close', 'MA 5', 'MA 30', 'MA 60']].plot()

plt.tight_layout()
plt.savefig(os.path.join(outpath,'stock_ext.png'))
plt.show()

运行结果，这里看的是吉林长生生物的股价变动情况 输出文件

总结

image.png

练习：滚动统计PM2.5指标的3日/5日/7日均值

• 题目描述：滚动统计2015年6月1日以后的PM2.5指标的3日均值、5日均值、7日均值，并对结果进行可视化

• 题目要求:

• 使用Pandas进行数据分析及可视化

• 数据文件：

• 数据源下载地址：https://video.mugglecode.com/pm1.csv

• pm1.csv，包含了2013-2015年某地区每小时的PM2.5值。每行记录为1小时的数据。

• 共2列数据，分别表示：

1. Timestamp: 年月日及小时
2. PM: PM2.5值

分析

问题拆解提示：

1. 操作时序数据有哪些需要注意的？
2. 如何对数据按天进行重采样？
3. 如何对数据进行滚动统计？

• 问题解决提示：

1. 操作时序数据需要注意以下几点：

• 需要对时间日期列通过Pandas的to_datetime()进行类型转换；
• 需要将时间日期列通过set_index()设为索引；

1. 使用Pandas模块中的resample()方法进行重采样，这里的基础频率应为'D'，即按天重采样；
2. 使用Pandas模块中的rolling()方法进行滚动统计，参数window为滚动窗口的大小，这里应为3, 5, 7

原始数据是长这个样子的

import pandas as pd
import os
import matplotlib.pyplot as plt

filepath = '/Users/miraco/PycharmProjects/DataMining/data_pd/pm1.csv'
outpath = '/Users/miraco/PycharmProjects/DataMining/output3'

#数据获取
pm1_pd = pd.read_csv(filepath).dropna()

#数据日期转换成时间
pm1_pd['Timestamp'] = pd.to_datetime(pm1_pd['Timestamp'])

#作为数据帧的索引
pm1_pd.set_index('Timestamp',inplace = True)

#先重采样取日平均(再滑动计算3日均值、5日均值、7日均值)
rsp_pm1_pd= pm1_pd.resample('D').mean().dropna()

#滑动计算3日均值、5日均值、7日均值
rsp_pm1_pd['3-day PM2.5 Average'] = rsp_pm1_pd['PM'].rolling(window=3).mean()
rsp_pm1_pd['5-day PM2.5 Average'] = rsp_pm1_pd['PM'].rolling(window=5).mean()
rsp_pm1_pd['7-day PM2.5 Average'] = rsp_pm1_pd['PM'].rolling(window=7).mean()

rsp_pm1_pd.to_csv(os.path.join(outpath,'pm1_ana.csv'))

plt.rcParams['savefig.dpi'] = 300 #图片像素
plt.rcParams['figure.dpi'] = 300 #分辨率
# 默认的像素：[6.0,4.0]，分辨率为100，图片尺寸为 600&400
# 指定dpi=200，图片尺寸为 1200*800
# 指定dpi=300，图片尺寸为 1800*1200
# 设置figsize可以在不改变分辨率情况下改变比例

rsp_pm1_pd[rsp_pm1_pd.index > '2015-06-01'].plot()
plt.tight_layout()
plt.show()

运行结果

输出的数据

image.png

如果不过滤2015年6月1日以后的数据：

使用rsp_pm1_pd.plot()来绘图

如果绘图时候过滤出2015年6月1日以后的数据

使用rsp_pm1_pd[rsp_pm1_pd.index > '2015-06-01'来绘图].plot()