大数据预处理有哪些技术及方法呢?

作者: 求知笔记 | 来源:发表于2019-06-10 21:45 被阅读25次

    1. 目前常见的数据预处理技术

    1)数据清理

    数据清理例程就是通过填写缺失值、光滑噪声数据、识别或者删除离群点,并且解决不一致性来进行“清理数据”。

    2)数据集成

    数据集成过程将来自多个数据源的数据集成到一起。

    3)数据规约

    数据规约是为了得到数据集的简化表示。数据规约包括维规约和数值规约。

    4)数据变换

    通过变换使用规范化、数据离散化和概念分层等方法,使得数据的挖掘可以在多个抽象层面上进行。数据变换操作是提升数据挖掘效果的附加预处理过程。

    2. 数据清理方法

    1)缺失值

    对于缺失值的处理,一般是能补的就想办法把它补上,实在补不上的就丢弃处理。

    通常的处理方法有:忽略元组、人工填写缺失值、使用一个全局变量填充缺失值、使用属性的中心度量填充缺失值、使用与给定元组属同一类的所有样本的属性均值或中位数、使用最可能的值填充缺失值。

    2)噪声数据

    噪声是被测量变量的随机误差或方差。去除噪声、使数据“光滑”的技术有分箱、回归、离群点分析等。

    3)数据清理过程

    这个环节主要包括数据预处理、清理方法、校验清理方法、执行清理工具及数据归档。

    数据清理的原理是通过分析“无效数据”产生的原因和存在形式,利用现有的技术手段和方法去清理,将“无效数据”转化为满足数据质量或应用要求的数据,从而提高数据集的数据质量。

    常用的工具有Excel、Access、SPSS Modeler、SAS、SPSS Statistics等。

    4)模型构建数据统计分析

    数据统计为模型构建提供基础,只有通过数据统计分析探索到了数据中隐藏的规律,深度学习才有意义,人工智能才有可能。

    数据统计又包括数据分析与结果分析,基本的分析方法有:对比分析法、分组分析法、交叉分析法、因素分析法、结构分析法、漏斗图分析法、矩阵关联分析法、综合评价分析法等。

    高级的分析方法有:主成分分析法、因子分析法、对应分析法、相关分析法、回归分析法、聚类分析法、判别分析法、时间序列等。这些类别并不是独一使用的,往往是混合使用的,然后再通过进一步的分析对比从中挑选某些组合模型。

    5)数据可视化

    数据可视化,就是通过一些可视化图形或者报表形式进行展示,增强对分析结果的理解。再针对结果进行进一步的数据再分析,使得整个业务环节形成闭环。只有闭环的数据才能真正发挥出深度学习的效用。

    相关文章

      网友评论

        本文标题:大数据预处理有哪些技术及方法呢?

        本文链接:https://www.haomeiwen.com/subject/mvhxxctx.html