美文网首页工作生活
数据清洗-利用python进行缺失值处理

数据清洗-利用python进行缺失值处理

作者: afansdie | 来源:发表于2019-07-02 21:54 被阅读0次

处理缺失值的方法有3种:删除、不处理、数据插补。

而数据插补主要有5种

1)利用均值、中位数、众数插补

2)使用固定值进行插补

3)最近临插补

4)回归方法

5)插值法


而主要的插值法分为牛顿插值法、拉格朗日插值法、Hermite插值、分段插值、样条插值法等。

本文主要介绍拉格朗日插值法:

对数学好的可以看一下拉格朗日插值法的数学公式,不感兴趣的直接略过看后续python 代码。

拉格朗日插值法是以法国十八世纪数学家约瑟夫·拉格朗日命名的一种多项式插值方法。拉格朗日插值法可以找到一个多项式,其恰好在各个观测的点取到观测到的值。

从数学上来说就是,对于平面上已知的n个点,可以找到一个n-1次多项式 y = a_{0} +a_{1}x +a_{2}x^2 +·····+a_{n-1}x^n-1 使得多项式曲线能够过这n个点,从而求出缺失值,补上缺失值。

已知的过n个点的n-1次多项式为:y = a_{0} +a_{1}x +a_{2}x^2 +·····+a_{n-1}x^n-1

将n个点的坐标(x_{1},y_{1}  ),(x_{2},y_{2} ),···(x_{n},y_{n} )代入多项式函数,得

y_{1}  = a_{0} +a_{1}x_{1}  +a_{2}x_{1}^2 +·····+a_{n-1}x_{1}^n-1

y_{2}  = a_{0} +a_{1}x_{2}  +a_{2}x_{2}^2 +·····+a_{n-1}x_{2}^n-1

····

y_{n}  = a_{0} +a_{1}x_{n}  +a_{2}x_{n}^2 +·····+a_{n-1}x_{n}^n-1

解出拉格朗日插值多项式为:

L(x) = y_{1} \frac{(x-x_{2} )(x-x_{3})···(x-x_{n})}{(x_{1}-x_{2})(x_{1}-x_{3})(x_{1}-x_{n})} +y_{2} \frac{(x-x_{2} )(x-x_{3})···(x-x_{n})}{(x_{2}-x_{1})(x_{2}-x_{3})(x_{2}-x_{n})}+···+y_{n} \frac{(x-x_{2} )(x-x_{3})···(x-x_{n})}{(x_{n}-x_{1})(x_{n}-x_{3})(x_{n}-x_{n-1})}=\sum_{i+0}^ny_{i}  \prod_{j=0,j\neq i}^n \frac{x-x_{j} }{x_{i}-x_{j}}

将缺失值的函数值对应的点代入插值多项式就可以得到趋势值的近似值L(x)。


接下来就是本文的核心部分了,好累。。。。

#拉格朗日插值代码

import pandas as pd #导入数据分析库Pandas

from scipy.interpolate import lagrange #导入拉格朗日插值函数

inputfile = 'path' #销量数据路径

outputfile = 'path' #输出数据路径

data = pd.read_excel(inputfile) #读入数据

#自定义列向量插值函数

#s为列向量,n为被插值的位置,k为取前后的数据个数,默认为5

def ployinterp_column(s, n, k=5):

  y = s[list(range(n-k, n)) + list(range(n+1, n+1+k))] #取数

  y = y[y.notnull()] #剔除空值

  return lagrange(y.index, list(y))(n) #插值并返回插值结果

#逐个元素判断是否需要插值

for i in data.columns:

  for j in range(len(data)):

    if (data[i].isnull())[j]: #如果为空即插值。

      data[i][j] = ployinterp_column(data[i], j)

data.to_excel(outputfile) #输出结果,写入文件

作者:afansdie

相关文章

  • 数据清洗-利用python进行缺失值处理

    处理缺失值的方法有3种:删除、不处理、数据插补。 而数据插补主要有5种: 1)利用均值、中位数、众数插补 2)使用...

  • day80-数据清洗及数据库连接

    1数据清洗 1.1缺失数据处理 isnull检测缺失值;dropna删除缺失值;python内置的none值在对象...

  • 2019-10-12

    原文请看利用Python进行数据分析(10) pandas基础: 处理缺失数据 利用Python进行数据分析(10...

  • 数据分析—网易考拉口红数据分析

    一 数据读取 二 数据清洗 2.1 重复数据处理 重复值进行删除处理 并没有重复数据 2.2 缺失值处理 查看是否...

  • 数据清洗

    数据清洗:删除原始数据集中的无关数据,重复数据,平滑噪声数据,处理缺失值和异常值 缺失值的处理:删除记录 数据插补...

  • 数据挖掘中的预处理

    【数据清洗】Part 1:缺失值处理 忽略元组 人工填写缺失值 使用一个全局常量填充缺失值:例如将缺失值用“Unk...

  • 3. 数据预处理

    数据预处理主要包括4个部分: 数据清洗 数据集成 数据变换 数据规约 1. 数据清洗 缺失值处理: 删除数据 不处...

  • 利用Python进行数据分析复现(六)

    第07章 数据清洗和准备 7.1 处理缺失数据 pandas使用浮点值NaN(Not a Number)表示缺失数...

  • 数据分析-03 数据处理

    总结一下数据处理的常用操作 理论 1、缺失值处理 2、重复值处理 3、替换 4、利用函数或映射进行数据转换 5、连...

  • 利用R进行脏数据清洗

    在进行正式的数据分析之前,必须要保证数据的质量,故而我们要处理缺失值、异常值这些脏数据。 一、缺失值 缺失值的处理...

网友评论

    本文标题:数据清洗-利用python进行缺失值处理

    本文链接:https://www.haomeiwen.com/subject/wvqxhctx.html