hello
四月底啦 节前最后一天 提前祝大家五一快乐~
现在都是随缘更新啦！谢谢还有一直关注的友友们！
今天简单记录一些数据处理的方法
缺失值
现实应用中，我们收集到的实际数据常常会因为各种原因出现部分缺失或者取不到值的情况，为了后续更有效地完成数据分析、预测等任务，通常需要进行数据的缺失值处理，即可以看做数据预处理。这里，主要记录运用python处理的相关方法，当然现在还有很多软件可以自动化处理，这里不展开。
1.缺失值查看
对数据进行缺失值处理时，要先做的就是分析数据中是否存在缺失值，以及缺失值存在的形式。
针对导入的数据表，可以使用pd.isna()方法，判断每个位置是否为缺失值，例如，使用pd.isna().sum()，在判断数据数据中的每个元素是否为缺失值后，使用sum()方法，对每列求和，可以计算出每个变量缺失值的数量。
数据中的缺失值一般是基于3种缺失值机制来识别缺失模式：
MCAR（完全随机丢失）：
如果数据的缺失与任何值（观察或缺失）之间没有关系，则为MCAR。
MAR（半随机丢失）：
您必须考虑MAR与MCAR有何不同， 如果缺失和观测值之间存在系统关系，则为MAR。 例如-男性比女性更容易告诉您自己的体重，因此体重就是MAR。 “ Weight”变量的缺失取决于变量“ Sex”的观测值。
MNAR（不随机丢失）：
如果2个或更多变量的缺失具有相同模式，则为MNAR。
具体可参考：数据的预处理基础：如何处理缺失值
除此，可以对缺失值可视化，更好观察变量关系
missingno是一个可以将缺失值情况进行可视化的库，十分便捷、好用。
1.安装及导入
pip install missingno
import missingno as msno
2.位置缺失可视化：msno.matrix()
3.条形图查看：msno.bar()
4.热力（相关图）查看：msno.heatmap()
5.树状图查看:msno.dendrogram()
2. 缺失值处理
1.缺失值删除
如果缺少的值非常少，则可以使用删除方法,将缺失值样本删除。 如果缺少分析中所包含的变量的值，按列表删除方法将完全删除个案。
适用于缺失模式为MCAR（随机完全缺失）。 当缺失值很少且缺失完全是随机的并且不取决于观察值或未观察值时，可以使用上述技术。但当缺失数据是非随机分布时，这种方法可能导致数据发生偏离，从而导致错误的结果。
2.基于插补的方法
1.均值插补 (均值可以包括平均值、众数、中位数等)
在处理数据时可以把变量分为数值型和非数值型
如果是非数值型的缺失数据，运用统计学中众数的原理，用此变量在其他对象中取值频数最多的值来填充缺失值（众数填补）；
如果是数值型的缺失值，则取此变量在其他所有对象的取值均值/中位数等值来补齐缺失值。
Tip：对于正态分布的数据可以使用均值代替，如果数据是倾斜的，使用中位数可能更好。
适用于在缺失值是完全随机缺失时为总体均值或总量提供无偏估计。但此方法会使得插补值集中在均值点上，在分布上容易形成尖峰，导致方差被低估。
2.KNN插补与K-Means插补
KNN插补
KNN是基于特征相似性来预测新数据点的值，意味着新数据点是基于和其他点的相似程度来被赋值。
这对于缺失值的预测非常有用，可以通过找到距离缺失值距离最近的K个数据点，然后基于这些点的值来插补缺失值。
KNN插补即首先创建一个基本的均值插补，使用构建一个KDTree, 然后使用KDTree来计算距离最近的点(NN)，找到距离最近的K个点以后，取这些点的加权平均数。
k-means插补则是是利用无缺失值的特征来寻找最近的N个点，然后用这N个点的我们所需的缺失的特征平均值来填充。
其余插补方法可见：对于缺失值的处理
3.基于模型的方法
使用回归、贝叶斯、随机森林、决策树等模型对缺失数据进行预测
基于已有的其他字段，将缺失字段作为目标变量进行预测，从而得到较为可能的补全值。如果带有缺失值的列是数值变量，采用回归模型补全；如果是分类变量，则采用分类模型补全。
网友评论