美文网首页大数据数据分析玩转大数据
【数据分析师必备】九大常用数据分析方法汇总(上)

【数据分析师必备】九大常用数据分析方法汇总(上)

作者: 奋斗小窝 | 来源:发表于2019-05-08 08:17 被阅读2次

    一、描述性统计

    定义:描述性统计是一类统计方法的汇总,揭示了调查总体的数据分布特性。描述性统计分析要对调查总体所有变量的有关数据进行统计性描述,主要包括数据的频数分析、集中趋势分析、离散程度分析、分布以及一些基本的统计图形。

    应用:

    ①数据的频数分析。在数据的预处理部分,利用频数分析和交叉频数分析可以检验异常值和缺失值。

    ②数据的集中趋势分析。用来反映数据的一般水平,常用的指标有平均值、中位数和众数等。

    ③数据的离散程度分析。主要是用来反映数据之间的差异程度,常用的指标有方差和标准差。

    ④数据的分布。在统计分析中,通常要假设样本所属总体的分布属于正态分布,因此需要用偏度和峰度两个指标来检查样本数据是否符合正态分布。

    ⑤绘制统计图。用图形的形式来表达数据,比用文字表达更清晰、更简明。在SPSS软件里,可以很容易地绘制各个变量的统计图形,包括条形图、饼图和折线图等。

    图1 描述性统计分析图例

    二、回归分析

    定义:回归分析是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。回归分析按照涉及的自变量的多少,分为回归和多重回归分析;按照自变量的多少,可分为一元回归分析和多元回归分析;按照自变量和因变量之间的关系类型,可分为线性回归分析和非线性回归分析。

    应用:

    ①一元线性分析

    如果在回归分析中,只包括一个自变量X和一个因变量Y,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。一个经济指标的数值往往受许多因素影响,若其中只有一个因素是主要的,起决定性作用,则可用一元线性回归进行预测分析。一元线性回归用途广泛,可处理科学技术的实验数据,也能用于经济现象:统计数据的分析预测。

    图2 用身高预测体重的散点图以及回归线

    ②多元线性回归分析

    如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。事实上,一种现象常常是与多个因素相联系的,由多个自变量的最优组合共同来预测或估计因变量,比只用一个自变量进行预测或估计更有效,更符合实际。因此多元线性回归比一元线性回归的实用意义更大。

    使用条件:分析多个自变量X与因变量Y的关系,X与Y都必须是连续型变量,因变量Y或其残差必须服从正态分布。

    图3 州府数据中因变量谋杀率与自变量人口、文化水平、收入水平以及结霜天数的散点图矩阵(包含线性和平滑拟合曲线,以及相应的边际分布)  

    ③Logistic回归分析

    线性回归模型要求因变量是连续的正态分布变量,且自变量和因变量呈线性关系,而Logistic回归模型对因变量的分布没有要求,一般用于因变量是离散时的情况。常用于预测分类变量,其中主要是二分类变量。

    例如,探讨影响用户复购的关键因素,并根据关键因素预测用户复购行为发生的概率等。选择两组人群,一组是复购组,一组是非复购组,两组人群必定具有不同的特征与购买行为等。因此因变量就为是否复购,值为“是”或“否”,自变量就可以包括很多了,如年龄、性别、购买频率、客单价、平均下单周期、购买品类占比情况等。自变量既可以是连续的,也可以是分类的。然后通过logistic回归分析,可以得到自变量的权重,从而可以大致了解到底哪些因素是产生复购行为的关键因素。同时可以根据关键因素预测用户复购的的可能性。从而可以通过运营策略去加大复购的可能性,提升店铺销量。

    图4 模型拟合图

    ④其他回归方法:非线性回归、有序回归、Probit回归、加权回归等。

    三、方差分析

    定义:方差分析用于两个及两个以上样本均数差别的显著性检验。 由于各种因素的影响,研究所得的数据呈现波动状。造成波动的原因可分成两类,一是不可控的随机因素,另一是研究中施加的对结果形成影响的可控因素。方差分析是从观测变量的方差入手,研究诸多控制变量中哪些变量是对观测变量有显著影响的变量。

    使用条件:各样本须是相互独立的随机样本;各样本来自正态分布总体;各总体方差相等。

    例如,在饲料养鸡增肥的研究中,某研究所提出的三种饲料配方A、B、C。应该选择哪种饲料,对鸡增肥效果好且便宜?目的是为了比较三种饲料配方下鸡的平均重量是否相等。特选24只相似的雏鸡随机均分为三组,每组各喂一种饲料,60天定期观测它们的重量并记录。得到三组雏鸡重量数据,比较这三组数据之间是否存在显著性差异。若相等,可任选一种饲料,特别是可以选廉价饲料;若不等,应选增肥效果好的饲料。同理,可运用到相似场景中。

    应用

    ①单因素方差分析:

    单因素方差分析是用来研究一个控制变量的不同水平是否对观测变量产生了显著影响。这里,由于仅研究单个因素对观测变量的影响,因此称为单因素方差分析。

    例如,分析不同施肥量是否给农作物产量带来显著影响,考察地区差异是否影响妇女的生育率,研究学历对工资收入的影响等。这些问题都可以通过单因素方差分析得到答案。

    ②多因素方差分析:

    多因素方差分析用来研究两个及两个以上控制变量是否对观测变量产生显著影响。这里,由于研究多个因素对观测变量的影响,因此称为多因素方差分析。多因素方差分析不仅能够分析多个因素对观测变量的独立影响,更能够分析多个控制因素的交互作用能否对观测变量的分布产生显著影响,进而最终找到利于观测变量的最优组合。

    例如,分析不同品种、不同施肥量对农作物产量的影响时,可将农作物产量作为观测变量,品种和施肥量作为控制变量。利用多因素方差分析方法,研究不同品种、不同施肥量是如何影响农作物产量的,并进一步研究哪种品种与哪种水平的施肥量是提高农作物产量的最优组合。

    ③协方差分祈:

    通过上述的分析可以看到,不论是单因素方差分析还是多因素方差分析,控制因素都是可控的,其各个水平可以通过人为的努力得到控制和确定。但在许多实际问题中,有些控制因素很难人为控制,但它们的不同水平确实对观测变量产生了较为显著的影响。

    例如,在研究农作物产量问题时,如果仅考察不同施肥量、品种对农作物产量的影响,不考虑不同地块等因素而进行方差分析,显然是不全面的。因为事实上有些地块可能有利于农作物的生长,而另一些却不利于农作物的生长。不考虑这些因素进行分析可能会导致:即使不同的施肥量、不同品种农作物产量没有产生显著影响,但分析的结论却可能相反。这个时候就用到协方差分析。

    四、假设检验

    定义:假设检验(Hypothesis Testing)是数理统计学中根据一定假设条件由样本推断总体的一种方法。具体作法是:根据问题的需要对所研究的总体作某种假设,记作H0;选取合适的统计量,这个统计量的选取要使得在假设H0成立时,其分布为已知;由实测的样本,计算出统计量的值,并根据预先给定的显著性水平进行检验,作出拒绝或接受假设H0的判断。常用的假设检验方法有u-检验法、t检验法、χ2检验法(卡方检验)、F-检验法,秩和检验等。

    应用:

    ①参数检验

    参数检验对参数平均值、方差进行的统计检验,参数检验是推断统计的重要组成部分。

    ②非参数检验

    非参数检验是统计分析方法的重要组成部分,它与参数检验共同构成统计推断的基本内容。参数检验是在总体分布形式已知的情况下,对总体分布的参数如均值、方差等进行推断的方法。但是,在数据分析过程中,由于种种原因,人们往往无法对总体分布形态作简单假定,此时参数检验的方法就不再适用了。非参数检验正是一类基于这种考虑,在总体方差未知或知道甚少的情况下,利用样本数据对总体分布形态等进行推断的方法。由于非参数检验方法在推断过程中不涉及有关总体分布的参数,因而得名为"非参数"检验。

    非参数检验不考虑总体分布是否已知,常常也不是针对总体参数,而是针对总体的某些一般性假设(如总体分布的位罝是否相同,总体分布是否正态)进行检验。

    主要方法包括:卡方检验、秩和检验、二项检验、游程检验、K-量检验等。


    欢迎前往关注数据宝典公众号,更多数据分析知识分享,以及案例总结分享~~

    在数据分析道路上,学无止境,终身成长。

    相关文章

      网友评论

        本文标题:【数据分析师必备】九大常用数据分析方法汇总(上)

        本文链接:https://www.haomeiwen.com/subject/bwvbnqtx.html