美文网首页
【分析篇】:Python 拉格朗日插值代码(缺失值)和数据规范化

【分析篇】:Python 拉格朗日插值代码(缺失值)和数据规范化

作者: dataheart | 来源:发表于2017-05-21 11:33 被阅读1739次

    A.数据源:catering_sale.xls

    catering_sale.xls

    A.拉格朗日插值代码(缺失值的数据处理)

    import pandas as pd #导入数据分析库Pandas
    from scipy.interpolate import lagrange #导入拉格朗日插值函数
    
    inputfile = 'F:/python 数据挖掘分析实战/Data/catering_sale.xls' #销量数据路径
    outputfile = 'F:/python 数据挖掘分析实战/Data/tmpsales.xls' #输出数据路径
    
    data = pd.read_excel(inputfile) #读入数据
    data[u'销量'][(data[u'销量'] < 400) | (data[u'销量'] > 5000)] = None #过滤异常值,将其变为空值,即变为缺失值 nan
    
    #自定义列向量插值函数
    #s为列向量,n为被插值的位置,k为取前后的数据个数,默认为5
    def ployinterp_column(s, n, k=5):
      y = s[list(range(n-k, n)) + list(range(n+1, n+1+k))] #取数
      y = y[y.notnull()] #剔除空值
      return lagrange(y.index, list(y))(n) #插值并返回插值结果
    
    #逐个元素判断是否需要插值
    for i in data.columns:
      for j in range(len(data)):
        if (data[i].isnull())[j]: #如果为空即插值。
          data[i][j] = ployinterp_column(data[i], j)
    
    data.to_excel(outputfile) #输出结果,写入文件
    

    B. 数据源:normalization_data.xls

    normalization_data.xls 数据规范化结果

    数据代码

    import pandas as pd
    
    datafile = 'F:/python 数据挖掘分析实战/Data/normalization_data.xls' #参数初始化
    data = pd.read_excel(datafile, header = None) #读取数据
    
    (data - data.min())/(data.max() - data.min()) #最小-最大规范化
    (data - data.mean())/data.std() #零-均值规范化
    data/10**np.ceil(np.log10(data.abs().max())) #小数定标规范化
    

    参考资料:《Python数据分析与挖掘实战》

    相关文章

      网友评论

          本文标题:【分析篇】:Python 拉格朗日插值代码(缺失值)和数据规范化

          本文链接:https://www.haomeiwen.com/subject/ehbmxxtx.html