显卡日志

下面给出了3090显卡的性能测评日志结果，每一条日志有如下结构：

Benchmarking #2# #4# precision type #1#
#1#  model average #2# time :  #3# ms

其中#1#代表的是模型名称，#2#的值为train(ing)或inference，表示训练状态或推断状态，#3#表示耗时，#4#表示精度，其中包含了float, half, double三种类型，下面是一个具体的例子：

Benchmarking Inference float precision type resnet50
resnet50  model average inference time :  13.426570892333984 ms

请把日志结果进行整理，变换成如下状态，model_i用相应模型名称填充，按照字母顺序排序，数值保留三位小数：

image.png
【数据下载】链接：https://pan.baidu.com/s/1CjfdtavEywHtZeWSmCGv3A 提取码：4mui

解：

import numpy as np
import pandas as pd

data = pd.read_table('./data/benchmark.txt', header=None)
print(data)
print(data.head())
print(data.info)
print(data.describe())
pd.set_options('max_columns',None)
pd.set_options('max_rows',None)

df_n = pd.DataFrame(columns= ['model_name', 'Train_Infer', 'FHD', 'Time'])
for i in range(0, len(list(data[0]))-1, 2):
    temp = []
    temp.append(list(data[0])[i].split(' ')[5])
    temp.append(list(data[0])[i+1].split(' ')[4])
    temp.append(list(data[0])[i].split(' ')[2])
    temp.append(list(data[0])[i+1].split(' ')[8])
    df_n.loc[i/2] = temp
print(df_n)
df_n['Time'] = df_n['Time'].astype(float).round(3)
df_t = df_n.groupby(['model_name','Train_Infer','FHD'])['Time'].sum().reset_index()
print(df_t)
df_m=df_t.pivot(index='model_name',
                 columns=['Train_Infer','FHD'],
                 values='Time')
print(df_m)
col=df_m.columns.map(lambda x: (x[0]+'_'+x[1]))
df_m.columns = cols
print(df_m)

水压站点的特征工程

df1和df2中分别给出了18年和19年各个站点的数据，其中列中的H0至H23分别代表当天0点至23点；df3中记录了18-19年的每日该地区的天气情况，请完成如下的任务：

import pandas as pd
import numpy as np
df1 = pd.read_csv('yali18.csv')
df2 = pd.read_csv('yali19.csv')
df3 = pd.read_csv('qx1819.csv')

通过df1和df2构造df，把时间设为索引，第一列为站点编号，第二列为对应时刻的压力大小，排列方式如下（压力数值请用正确的值替换）：

                       站点    压力
2018-01-01 00:00:00       1    1.0
2018-01-01 00:00:00       2    1.0
...                     ...    ...
2018-01-01 00:00:00      30    1.0
2018-01-01 01:00:00       1    1.0
2018-01-01 01:00:00       2    1.0
...                     ...    ...
2019-12-31 23:00:00      30    1.0

在上一问构造的df基础上，构造下面的特征序列或DataFrame，并把它们逐个拼接到df的右侧

当天最高温、最低温和它们的温差
当天是否有沙暴、是否有雾、是否有雨、是否有雪、是否为晴天
选择一种合适的方法度量雨量/下雪量的大小（构造两个序列分别表示二者大小）
限制只用4列，对风向进行0-1编码（只考虑风向，不考虑大小）
对df的水压一列构造如下时序特征：

当前时刻该站点水压与本月的相同整点时间该站点水压均值的差，例如当前时刻为2018-05-20 17:00:00，那么对应需要减去的值为当前月所有17:00:00时间点水压值的均值
当前时刻所在周的周末该站点水压均值与工作日水压均值之差
当前时刻向前7日内，该站点水压的均值、标准差、0.95分位数、下雨天数与下雪天数的总和
当前时刻向前7日内，该站点同一整点时间水压的均值、标准差、0.95分位数
当前时刻所在日的该站点水压最高值与最低值出现时刻的时间差