tidymodels包学习实录-2（ preprocess yo

本次的部分为数据预处理相关内容

library(tidymodels)
library(nycflights13)    # 航班数据集（测试用）
library(skimr)           # 总结及可视化变量结果

#查看原始数据集
glimpse(flights)
glimpse(weather)

fiights数据集分布情况
weather数据集分布情况

#构建数据分析的数据集
set.seed(123)#设定随机种子
flight_data <- 
  flights %>% 
  mutate(
    # 将航班延迟时间转换为因子变量
    arr_delay = ifelse(arr_delay >= 30, "late", "on_time"),
    arr_delay = factor(arr_delay),
    # 将time_hour的时间日期数据转换为日期数据，并定义为data
    date = lubridate::as_date(time_hour)
  ) %>% 
  # 根据出发地和出发日期时间对flights和weather两个数据集进行合并
  inner_join(weather, by = c("origin", "time_hour")) %>% 
  # 保留需要的列
  select(dep_time, flight, origin, dest, air_time, distance, 
         carrier, date, arr_delay, time_hour) %>% 
  # 删除含有缺失数据的行
  na.omit() %>% 
  # 将所有字符串变量转换为因子型
  mutate_if(is.character, as.factor)

下一步数据分析需要的数据集

#划分训练集和测试集
# Fix the random numbers by setting the seed 
# This enables the analysis to be reproducible when random numbers are used 
set.seed(222)
# Put 3/4 of the data into the training set 
data_split <- initial_split(flight_data, prop = 3/4)

# Create data frames for the two sets:
train_data <- training(data_split)
test_data  <- testing(data_split)
#构建建模需要的对象
flights_rec <- 
  recipe(arr_delay ~ ., data = train_data) %>% 
  update_role(flight, time_hour, new_role = "ID") #确定哪些是识别变量，后续分析不纳入
summary(flights_rec)

构建模型训练对象

#对特征变量进行预处理
flights_rec <- 
  recipe(arr_delay ~ ., data = train_data) %>% #构建回归方程
  update_role(flight, time_hour, new_role = "ID") %>% #确定ID识别变量
  step_date(date, features = c("dow", "month")) %>%   #对日期变量进行变化
  #此处将日期变量转换为星期和月份
  step_holiday(date, #将日期变量转换为是否为节将日（二分类变量）
               holidays = timeDate::listHolidays("US"), #节假日按照美国日历
               keep_original_cols = FALSE) %>%#不保留原始列 
  step_dummy(all_nominal_predictors()) %>% #将所有字符串变量转换为dummy变量
  step_zv(all_predictors())#删除整列仅有1个值的变量

由于最终的结果变量为二分类，因此我们采用逻辑回归模型进行拟合

#定义模型
lr_mod <- 
  logistic_reg() %>% 
  set_engine("glm")

#拟合模型
flights_wflow <- 
  workflow() %>% 
  add_model(lr_mod) %>% 
  add_recipe(flights_rec)

flights_wflow

模型参数

#利用训练数据进行模型训练
flights_fit <- 
  flights_wflow %>% 
  fit(data = train_data)

#查看训练后模型的参数
flights_fit %>% 
  extract_fit_parsnip() %>% 
  tidy()

最终训练集拟合结果

#用测试数据队模型进行拟合并将所有变量和结果储存
flights_aug <- 
  augment(flights_fit, test_data)

# 筛选需要展示的变量: 
flights_aug %>%
  select(arr_delay, time_hour, flight, .pred_class, .pred_on_time)

测试集预测结果数据

#利用ROC曲线对模型进行评价并可视化
flights_aug %>% 
  roc_curve(truth = arr_delay, .pred_late) %>% 
  autoplot()

#计算模型AUC值
flights_aug %>% 
  roc_auc(truth = arr_delay, .pred_late)

ROC曲线