Python-for-data-重新采样和频率转换
image
什么是重新采样
重新采样指的是将时间序列从一个频率转换到另一个频率的过程。
- 向下采样：高频率--->低频率
- 向上采样：低频率--->高频率
但是也并不是所有的采样方式都是属于上面的两种
pandas中使用resample方法来实现频率转换，下面是resample方法的参数详解：
image
import pandas as pd
import numpy as np
rng = pd.date_range("2020-05-10",periods=100,freq="D")
ts = pd.Series(np.random.randn(len(rng)),index=rng)
ts
2020-05-10 0.239122
2020-05-11 0.847263
2020-05-12 0.394896
2020-05-13 1.556826
2020-05-14 -0.612460
...
2020-08-13 0.246714
2020-08-14 1.890153
2020-08-15 -2.090757
2020-08-16 -1.076017
2020-08-17 1.139343
Freq: D, Length: 100, dtype: float64
ts.resample("M").mean() # 相当于是先根据M月份进行分组，再求平均值
2020-05-31 0.147573
2020-06-30 -0.194357
2020-07-31 -0.027795
2020-08-31 -0.030770
Freq: M, dtype: float64
ts.resample("M",kind="period").mean()
2020-05 0.147573
2020-06 -0.194357
2020-07 -0.027795
2020-08 -0.030770
Freq: M, dtype: float64
向下采样
将数据聚合到一个规则的低频上，例如将时间转换为每个月，"M"或者"BM"，将数据分成一个月的时间间隔。
每个间隔是半闭合的，一个数据只能属于一个时间间隔。时间间隔的并集必须是整个时间帧
一分钟的数据栗子
rng = pd.date_range("2020-01-01", periods=12,freq="T") # T 表示的是分钟
ts = pd.Series(np.arange(12),index=rng)
ts
2020-01-01 00:00:00 0
2020-01-01 00:01:00 1
2020-01-01 00:02:00 2
2020-01-01 00:03:00 3
2020-01-01 00:04:00 4
2020-01-01 00:05:00 5
2020-01-01 00:06:00 6
2020-01-01 00:07:00 7
2020-01-01 00:08:00 8
2020-01-01 00:09:00 9
2020-01-01 00:10:00 10
2020-01-01 00:11:00 11
Freq: T, dtype: int64
箱体边界问题
默认情况下，左箱体边界是包含的。00:00的值是00：00到00：05间隔内的值
# 通过计算每一组的加和将这些数据聚合到五分钟的块或者柱内
ts.resample("5min",closed="right").sum()
2019-12-31 23:55:00 0
2020-01-01 00:00:00 15
2020-01-01 00:05:00 40
2020-01-01 00:10:00 11
Freq: 5T, dtype: int64
产生的时间序列按照每个箱体左边的时间戳被标记。
传递<span class="mark">label="right"</span>可以使用右箱体边界标记时间序列
ts.resample("5min",closed="right",label="right").sum()
2020-01-01 00:00:00 0
2020-01-01 00:05:00 15
2020-01-01 00:10:00 40
2020-01-01 00:15:00 11
Freq: 5T, dtype: int64
索引移动
向loffset参数传递字符串或者日期偏置
ts.resample("5min",closed="right",
label="right",loffset="-2s").sum()
2019-12-31 23:59:58 0
2020-01-01 00:04:58 15
2020-01-01 00:09:58 40
2020-01-01 00:14:58 11
Freq: 5T, dtype: int64
ts.resample("5min",closed="right",label="right").sum().index
DatetimeIndex(['2020-01-01 00:00:00', '2020-01-01 00:05:00',
'2020-01-01 00:10:00', '2020-01-01 00:15:00'],
dtype='datetime64[ns]', freq='5T')
开端-峰值-谷值-结束（OHLC）
在金融数据中，为每个数据桶计算4个值是常见的问题：
- 开端：第一个值
- 结束：最后一个值
- 峰值：最大的一个值
- 谷值：最小的一个值
通过<span class="girk">ohlc聚合函数</span>能够得到四种聚合值列的DF数据
ts.resample("5min").ohlc()
image.png
向上采样和填充值问题
frame = pd.DataFrame(np.random.randn(2,4),
index=pd.date_range("5/1/2020",periods=2,freq="W-WED"),
columns=["Colorado","Texas","New York","Ohio"])
frame
image.png
从每个礼拜转到每天：asfreq()
低频转到高频的时候会形成缺失值
# 采用asfreq方法在不聚合的情况下，转换到高频率
df_daily = frame.resample("D").asfreq() #
df_daily
image.png
缺失值填充
ffill()：使用前面的值填充，limit限制填充的次数
frame.resample("D").ffill(limit=3) # ffill()使用前面的值填充
image.png
使用区间重新采样
frame = pd.DataFrame(np.random.randn(24,4),
index=pd.period_range("1-2019","12-2020",freq="M"),
columns=["Colorado","Texas","New York","Ohio"])
frame[:5]
image.png
annual_frame = frame.resample("A-DEC").mean()
annual_frame
image.png
# Q-DEC：每季度、年末在12月份
annual_frame.resample("Q-DEC").ffill()
image.png
convention参数
annual_frame.resample("Q-DEC",convention="end").ffill()
image.png
向上和向下采样的比较
- 在向下采样中，目标频率必须是原频率的子区间：变小
- 在向上采样中，目标频率必须是原频率的父区间：变大
annual_frame.resample("Q-MAR").ffill()
image.png
网友评论