新冠肺炎疫情期间本职工作比较忙。。。好久没更新简书了OTL

笔记说明

读《Discovering Statistics Using R》第四章 Exploring data with graphs中的4.7节箱形图 以及5.8.1节 处理离群值 做的笔记。主要是介绍箱形图和离群值。之前本系列笔记跳过了第四章的内容，因为对于用R作图我打算另开文集来写的。特意又跳回4.7节是因为按照之前笔记顺序该做如何处理离群值的内容了。

示例数据

一个生物学家怀疑音乐节会对人的健康产生影响，他找了810个音乐会观众，收集了音乐节三天他们的卫生情况，卫生情况得分0-4.我们使用该数据的未去除极端值的版本DownloadFestival.dat

# 数据导入
library(rio)
dlf <- import("data/DownloadFestiva.dat")
head(dlf)

##   ticknumb gender day1 day2 day3
## 1     2111   Male 2.64 1.35 1.61
## 2     2229 Female 0.97 1.41 0.29
## 3     2338   Male 0.84   NA   NA
## 4     2384 Female 3.03   NA   NA
## 5     2401 Female 0.88 0.08   NA
## 6     2405   Male 0.85   NA   NA

箱形图

箱形图是展示连续性变量情况很好的方法。
箱体的中间表示中位数
箱体的两端表示为下四分位数(Q1)和上四分位数(Q3)
箱体两端向外分出两条“触须”，触须长度不超过1.5倍的四分位间距（interquartile range IQR=Q3-Q1）

接下来我们使用箱形图来分性别（gender）展示示例数据中第一天卫生评分的情况（day1）:

library(ggplot2)
festivalBoxplot <- ggplot(dlf, aes(gender, day1)) +
    geom_boxplot() + labs(x = "Gender", y = "Hygiene (Day 1 of Festival)")

在生成的箱形图中我们可以看到女性组里有一个明显的离群值（outlier）。

离群值

离群值（outlier）也叫异常值，简单来说就是与其他数据点明显不同的测量值。在箱形图中：
大于上四分位数+1.5倍四分位间距的值或者小于下四分位数-1.5倍四分位间距的值被定义为离群值。
大于上四分位数+3倍四分位间距的值或者小于下四分位数-3倍四分位间距的值被定义为极端离群值(extreme outliers）。
离群值对一些统计量影响很大（比如均值），因此有时需要留意。

我们对原始数据按照day1变量降序排列后可以找到那个离群值：

library(dplyr)
dlf <- dlf %>% arrange(desc(day1))
head(dlf)

##   ticknumb gender  day1 day2 day3
## 1     4158 Female 20.02 2.44   NA
## 2     4016 Female  3.69   NA   NA
## 3     3374   Male  3.58 3.35   NA
## 4     4264   Male  3.44   NA   NA
## 5     3371 Female  3.41   NA   NA
## 6     3338 Female  3.38   NA   NA

离群值的处理

发现离群值后有几种常用方法可以减少离群值对分析的影响。在应用这些方法前需要先检查一下离群值是否是数据错误录入造成。如果数据录入无误，主要有三种处理方法：

• 剔除离群值
  当有理由认为该样本不属于目标总体时可以采用这种方式。
• 数据转换
• 更改测量值
  常见的具体更改方法：
  （1）用次高或次低的测量值替代
  （2）用Z分数反推出替代值。
  Z值大于3.29也是判定离群值的一种方法。据此可以反推Z值为3.29时对应测量值应该是多少：,用该值代替离群值
  （3）均值加或减2倍标准差，

用if_else()或ifelse()进行数据修改

有理由认为这个20.02的离群值应该是2.02由于错误录入造成的。这时应该去找原始数据进行核实。假设我们经核实确实应该是2.02，现在把它改正。
这里我使用dplyr包的if_else（）进行数据修改，其用法和R自带的ifelse()基本一致：if_else(condition, true, false, missing = NULL),当condition的判断为TRUE时返回true参数的值，当condition的判断为FALSE时返回false参数的值。

dlf$day1 <- if_else(dlf$day1 == 20.02, 2.02, dlf$day1)
head(dlf)

##   ticknumb gender  day1 day2 day3
## 1     4158 Female  2.02 2.44   NA
## 2     4016 Female  3.69   NA   NA
## 3     3374   Male  3.58 3.35   NA
## 4     4264   Male  3.44   NA   NA
## 5     3371 Female  3.41   NA   NA
## 6     3338 Female  3.38   NA   NA

修改后再做一次箱形图：

从箱形图中我们可以看出数据分布的范围、中位数水平、中间50%的数据分布的范围（箱体）、最高25%的数据分布范围和最低25%的数据分布范围。通过箱形图还可以看出数据分布是否对称：如果上下触须长度相近则数据分布大致对称。另外，触须以外的点展示了离群值的情况。