美文网首页
数据去噪方法

数据去噪方法

作者: ChongmingLiu | 来源:发表于2018-04-11 21:10 被阅读3254次

一. 异常值填补方法

1.1 k-近邻替换法
1.2 局部加权替换法
1.3 有序最近邻替换法
1.4 均值法
1.5 最常见值法
1.6 回归填补法
1.7 多重填补方法(M-试探法)

二. 基于距离检测

k-近邻法

根据距离来确定具有缺失值数据最近的k个近邻,然后将这个k个值加权(权重一般是距离的比值吧),然后根据自定义的阈值,将距离k个近邻距离超过阈值的当做异常点。

三. 基于统计学方法检测

3σ探测方法

探测方法的思想其实就是来源于切比雪夫不等式,一般来说:

  • 所有数据中,至少有 3/4(75.0%)的数据位于平均数2个标准差范围内。
  • 所有数据中,至少有 8/9(88.9%)的数据位于平均数3个标准差范围内。
  • 所有数据中,至少有 24/25(96.0%)的数据位于平均数5个标准差范围内。
    注:只适用于单维数据

四. 基于分布的异常值检测

本方法是根据统计模型或者数据分布。然后根绝这些模型对样本集中的每个点进行不一致检验的方法。只适用于单维数据。因为数据分布未知,所以不是太准确。

3.1 Grubbs检验

步骤一:先把数据按照从小到大的顺序排列x1,x2…xn
步骤二:假设我们认为xi为异常点。计算平均值avg;
步骤三:计算算数 平均值标准差 的估计量s
步骤四:计算统计量 gi=|xi - avg|/s
步骤五:将gi与查Grubbs检验法的临界值表所得的g(a, n)进行比较。如果gi < g(a,n),则认为不是异常值;如果大于,就认为这个点是异常值。

3.2 Dixon检验

查表

3.3 3t分布检验方法

查表

五. 基于密度聚类

5.1 DBSCAN

由密度可达关系导出的最大密度相连的样本集合,即为我们最终聚类的一个簇。
DBSCAN是基于一组邻域来描述样本集的紧密程度的,参数(ϵ, MinPts)用来描述邻域的样本分布紧密程度。其中,ϵ描述了某一样本的邻域距离阈值,MinPts描述了某一样本的距离为ϵ的邻域中样本个数的阈值。

5.2 OPTICS

目标是将空间中的数据按照密度分布进行聚类,其思想和DBSCAN非常类似,但是和DBSCAN不同的是,OPTICS算法可以获得不同密度的聚类,理论上可以获得任意密度的聚类。

5.3 Chameleon

步骤一:创建稀疏图(kNN图);
步骤二:分裂稀疏图为小partitions;
步骤三:合并partitions;
Chameleon没有考虑簇与簇之间的连通性

相关文章

  • 数据去噪方法

    一. 异常值填补方法 1.1 k-近邻替换法 1.2 局部加权替换法 1.3 有序最近邻替换法 1.4 均值法 1...

  • 引力波的绘制

    官方指南 分析方法:提取数据FFT去噪光谱图滤波 HDF5

  • 去噪实验研究利器——教你画局部相似图(附程序)

    研究地震去噪的同学们都知道,检验地震去噪效果最直观的方法就是画图来看。 有一种专业评估去噪性能的方法,就是使用局部...

  • 深度学习地震数据去噪实践5——网络去噪(附程序)

    | 作者:夜剑听雨 课程重点: 1. 地震数据切割及原理讲解。 2. 地震数据归一化。 3. 地震缺失数据填充。 ...

  • PYHTON-整理一份详细的数据预处理方法

    整理一份详细的数据预处理方法 数据清理 数据清理(data cleaning) 的主要思想是通过填补缺失值、光滑噪...

  • KSVD去噪

    在解释KSVD去噪原理之前先解释几个名词,首先: 原子:信号的基本构成成分,比如一个长为N的列向量; ...

  • 轨迹去噪

    1. 定义 轨迹去噪:过滤掉轨迹中不需要的GPS点,保留需要的GPS点,然后组成新的子轨迹。 2. 算法描述 情况...

  • 阳谋去噪

    清晨六点,窗外的鸟儿就开始叽叽喳喳的开始鸣叫,不知道她们是为了早歺吃什么而讨论,还是在议论今天的太阳要被云层遮挡出...

  • 图像去噪

    图像去噪可以分为固定阈值去噪和自适应阈值去噪 固定阈值去噪 opencv函数(python):cv2.thresh...

  • 图像预处理流程

    图像预处理主要包括去噪、对比度增强,去噪和对比度增强方法顺序不唯一,根据实际情况作出最好的安排。 1、灰度化 ht...

网友评论

      本文标题:数据去噪方法

      本文链接:https://www.haomeiwen.com/subject/lsgzhftx.html