搞懂箱形图即可快速识别异常数据!

作者: 刘口水并不是流口水 | 来源:发表于2018-01-31 11:20 被阅读70次

最近有很多用户说到了年终需要回顾这一年的工作,根据这一年的数据看看有没有异常的情况,那么哪种图能够清晰直观地展现出这一信息呢?

答案只有一个,那就是...

箱形图

箱形图(英文:Box plot),又称为盒须图、盒式图、盒状图或箱线图,是一种用作显示一组数据分散情况资料的统计图。因型状如箱子而得名。在各种领域也经常被使用,常见于品质管理,快速识别异常值。

箱形图最大的优点就是不受异常值的影响,能够准确稳定地描绘出数据的离散分布情况,同时也利于数据的清洗。

想要搞懂箱形图,那么一定要了解...

五大因“数”

我们一组序列数为例:12,15,17,19,20,23,25,28,30,33,34,35,36,37讲解这五大因“数”

1、下四分位数Q1

(1)确定四分位数的位置。Qi所在位置=i(n+1)/4,其中i=1,2,3。n表示序列中包含的项数。

(2)根据位置,计算相应的四分位数。

例中:

Q1所在的位置=(14+1)/4=3.75,

Q1=0.25×第三项+0.75×第四项=0.25×17+0.75×19=18.5;

2、中位数(第二个四分位数)Q2

中位数,即一组数由小到大排列处于中间位置的数。若序列数为偶数个,该组的中位数为中间两个数的平均数。

例中:

Q2所在的位置=2(14+1)/4=7.5,

Q2=0.5×第七项+0.5×第八项=0.5×25+0.5×28=26.5

3、上四分位数Q3

计算方法同下四分位数。

例中:

Q3所在的位置=3(14+1)/4=11.25,

Q3=0.75×第十一项+0.25×第十二项=0.75×34+0.25×35=34.25。

4、上限上限是非异常范围内的最大值。

首先要知道什么是四分位距如何计算的?

四分位距IQR=Q3-Q1,那么上限=Q3+1.5IQR

5、下限

下限是非异常范围内的最小值。

下限=Q1-1.5IQR

讲了这么多的“数学知识”,那么箱形图到底如何通过BDP应用到实际的工作呢?我们还是用一个实例来帮助大家理解。

现在有“2017年各季度各地区分公司销售业绩”工作表,我们想要找出各季度哪些分公司业绩属于不正常范围内。

数据示例如下图:

BDP箱形图效果:

从上图可以清晰的找出异常点,例如第二季度北京分公司的销售额为22147元,该值比上限10759元还要大,所以定义为异常

具体操作在这里就不讲解了,可以参考“各位久等了,全新的炫酷图表终于上线啦!

箱形图的价值

1.直观明了地识别数据批中的异常值

上文讲了很久的识别异常值,其实箱线图判断异常值的标准以四分位数和四分位距为基础,四分位数具有一定的耐抗性,多达25%的数据可以变得任意远而不会很大地扰动四分位数,所以异常值不会影响箱形图的数据形状,箱线图识别异常值的结果比较客观。由此可见,箱线图在识别异常值方面有一定的优越性。

2.利用箱线图判断数据批的偏态和尾重

对于标准正态分布的样本,只有极少值为异常值。异常值越多说明尾部越重,自由度越小(即自由变动的量的个数

而偏态表示偏离程度,异常值集中在较小值一侧,则分布呈左偏态;异常值集中在较大值一侧,则分布呈右偏态。

3.利用箱线图比较几批数据的形状

同一数轴上,几批数据的箱线图并行排列,几批数据的中位数、尾长、异常值、分布区间等形状信息便昭然若揭。如上图,可直观得看出第三季度各分公司的销售额大体都在下降。

但箱形图也有他的局限性,比如:不能精确地衡量数据分布的偏态和尾重程度;对于批量比较大的数据,反映的信息更加模糊以及用中位数代表总体评价水平有一定的局限性。

快速制作箱形图入口:BDP个人版

相关文章

  • 搞懂箱形图即可快速识别异常数据!

    最近有很多用户说到了年终需要回顾这一年的工作,根据这一年的数据看看有没有异常的情况,那么哪种图能够清晰直观地展现出...

  • 箱形图在实际数据分析中的应用

    箱形图是我们日常使用的频率很高的图形,这篇文章分享在实际数据分析时,箱形图都可以怎么应用。 一、什么是箱形图? 箱...

  • R中的箱线图进阶

    箱线图能够显示出离群点(outlier),离群点也叫做异常值,通过箱线图能够很容易识别出数据中的异常值。 geom...

  • 7.pyecharts箱形图

    一、适用条件1、箱形图:观察数据的中位数、尾长、异常值、分布区间等形状,大致了解数据结构。二、代码实现1.导入所需...

  • 【数据可视化】画个简单的箱形图

    一、什么是箱型图 箱型图大致样子如上图。箱形图常使用于品质管理,主要用于反映原始数据分布的特征,还可以进行多组数据...

  • 9、箱线图1

    盒须图介绍: 盒须图(box and whiskers):又称为箱形图、盒式图或箱线图,是一种用作显示一组数据分散...

  • 思维导图习作#23

    箱形图

  • python中matplotlib箱型图作用及画法

    箱型图:又称为盒须图、盒式图、盒状图或箱线图,是一种用作显示一组数据分散情况资料的统计图(在数据分析中常用在异常值...

  • Python-matplotlib统计图之箱线图漫谈

    (1) 箱线图,又称箱形图(boxplot)或盒式图,不同于一般的折线图、柱状图或饼图等传统图表,只是数据大小、占...

  • 脏数据以及用箱形图分析异常值

    本文仅为笔者平日学习记录之用,侵删原文:https://mp.weixin.qq.com/s/c6L_ign_vP...

网友评论

    本文标题:搞懂箱形图即可快速识别异常数据!

    本文链接:https://www.haomeiwen.com/subject/wkyczxtx.html