数据挖掘01-描述性统计

作者: 南小明 | 来源:发表于2019-07-22 19:21 被阅读54次

小白入门数据挖掘,从零开始,每周一更


01 数据集中趋势度量

  1. 众数

    • 是一组数据中出现次数最多的数值,有可能没有也有可能有多个

    • 用众数代表一组数据,可靠性较差;不过众数不受极端数据的影响,并且求法简便

  2. 中位数

    • 是按顺序排列的一组数据中居于中间位置的数

    • 如果是这组数据是奇数个数,则为中间那个数,如果是偶数个数,则为中间那两个数的平均数

    • 中位数是以它在所有标志值中所处的位置确定的全体单位标志值的代表值,不受分布数列的极大或极小值影响,从而在一定程度上提高了中位数对分布数列的代表性

  3. 平均数

    • 是数据中各观测值相对集中较多的中心位置
  4. 算数平均数

    • 它是一组数据之和,除以这组数据个数or项数

    • 优点,就是它较中位数、众数更少受到随机因素影响

    • 缺点,是它更容易受到极端值影响

算术平均数公式
  1. 几何平均数

    • 通过使用它们的值的乘积来指示一组数字的集中趋势或典型值

    • 多用于流程转化中的平均,比如多步骤的转化率求平均值

几何平均数公式
  1. 加权平均数

    • 数据中的每个点对于平均数的贡献并不是相等的,有些点要比其他的点更加重要

    • 加权平均数十分常见,此处不多介绍,额外提出一个有意思的理论-辛普森悖论

      加权算数平均数公式
  2. 分位数

    • 是指用分割点将一个随机变量的概率分布范围分为几个具有相同概率的连续区间

    • 箱线图的数据基础就是分位数,通常超过1和3分位的差值成为四分位距(IQR),而超出Q1和Q3的1.5+IQR部分,称为异常点。

箱线图

02 数据离散趋势度量

  1. 数值型数据

    • 方差,度量随机变量和其数学期望(即均值)之间的偏离程度

      • 如果所有变量+常数,方差不变Var(X + a) = Var(X)

      • 如果所有变量*常数,方差变大Var(aX) = a^2Var(X)

    • 标准差,方差的开方,可与平均值同单位比较

    • 平均差,各个变量值同平均数的离差绝对值的算术平均数

  2. 顺序数据

    • 上述的分位数,通常用(Q1-1.5IQR,Q3+1.5IQR)范围衡量数据健康范围
  3. 分类数据

    • 异众比率,是总体中非众数次数与总体全部次数之比。

    • 换句话说,异众比率指非众数组的频数占总频数的比例


03 相对离散度量

  1. 离散系数

    • 定义为标准差平均值之比
    离散系数计算公式
    • 在两组样本均值不同时,比较离散系数好于标准差

    • 平均值接近于0的时候,微小的扰动也会对变异系数产生巨大影响,因此造成精确度不足


04 分布的形状

  1. 偏态系数

    • 偏态系数以平均值中位数之差对标准差之比率来衡量偏斜的程度

      偏态系数公式
    • 偏态系数小于 0,因为平均数在众数之左,是一种左偏的分布,又称为负偏。

    • 偏态系数大于 0,因为均值在众数之右,是一种右偏的分布,又称为正偏

    • 描述:偏态系数是根据众数中位数均值各自的性质,通过比较众数或中位数与均值来衡量偏斜度的,即偏态系数是对分布偏斜方向和程度的刻画

    • 偏态系数的绝对数值越小,表示数据偏倚的程度越小;偏态系数的绝对数值越大,表示数据偏倚的程度越大

  2. 峰态系数

    • 是对数据分布平峰或尖峰程度的测度

    • 峰态系数就是概率分布函数中,与众数概率的高低有直接关系,众数概率越高,峰态系数越大

    • 正态分布的峰态系数是 3,常常计算出来的峰态系数会跟 3 作比较,如果小于 3 则具有不足的峰度,如果大于 3 则具有过度的峰度。反正理解为大于 3 比正态分布的更尖

    • 在相同的标准差下,峰度系数越大,分布就有更多的极端值


Day Day Up~

相关文章

  • 数据挖掘01-描述性统计

    小白入门数据挖掘,从零开始,每周一更 01 数据集中趋势度量 众数是一组数据中出现次数最多的数值,有可能没有也有可...

  • 小数据| 描述性统计(Python/R 实现)

    描述性统计 描述性统计是借助图表或者总结性的数值来描述数据的统计手段。数据挖掘工作的数据分析阶段,可以借助描述性统...

  • 数据挖掘的分类

    数据挖掘可以分为两大类一类为描述性的数据挖掘,另一类为预测性的数据挖掘。其中描述性的数据又分为关联规则,聚类分析,...

  • 【数据分析师必备】九大常用数据分析方法汇总(上)

    一、描述性统计 定义:描述性统计是一类统计方法的汇总,揭示了调查总体的数据分布特性。描述性统计分析要对调查总体所有...

  • Data, Models and Decisions in Bu

    版权所有。转载请保留作者和原文链接信息。 描述性统计分析是是对数据的探索和了解,也是数据分析和数据挖掘的初步工作,...

  • 【CDA】数据挖掘与人工智能

    一、数据分析VS数据挖掘 数据分析主要的手段是描述性统计,依赖于我们对问题本身的理解程度。需要我们通过点的选取和群...

  • R语言学习(六)基本统计分析--上

    整体数据计算描述性统计量 summary()函数 可以使用summary()函数来获取描述性统计量 可以看出sum...

  • 三、数据探索方法及函数汇总(Python描述)

    1 描述性统计 四个方面:数据的中心趋势、相对位置、离散度、相关性; 两种方式:统计量和统计图![描述性统计内容大...

  • SPSS基本统计分析

    描述性统计分析 描述性统计分析可以对数据进行基本描述,例如:平均值、众数、中位数、方差、总数。 频数分析,对数据进...

  • 数理统计

    描述性统计:平均值/标准差/中位数描述性统计是指运用制表和分类,图形以及计算概括性数据来描述数据特征的各项活动。描...

网友评论

    本文标题:数据挖掘01-描述性统计

    本文链接:https://www.haomeiwen.com/subject/rckglctx.html