在上一篇文章中我们提到的数据预处理的数据清洗，数据清洗就是对于肮脏数据的清除，而肮脏数据主要有异常值和缺失值，我们在进行数据预处理的时候不但要注意数据的清洗，还需要注意数据的集成、数据变换、数据规范的内容，只有这样，我们才能够为下一步工作做好铺垫。今天我们就好好来讲讲数据预处理的第二部分。
首先说说数据集成吧，所谓数据集成就是将多个数据源合并放到一个数据存储中，当然如果所分析的数据原本就在一个数据存储里就不需要数据的集成了。一般来说，数据集成的实现是将两个数据框以关键字为依据，在进行数据集成时可能会出现几种情况，分别是一个数据代表着两个不同的意思，两个不同的数据代表一个意思，数据的重复出现，这三个数据使得数据分析工作变得十分繁琐，从而影响数据分析的准确性，这就需要我们对于数据进行集成的工作。
接着给大家说说数据的变换，数据的变换就是把数据转化成适当的形式，来满足软件或分析理论的需要。一般我们可以通过简单的函数变换进行数据变换，什么是简单的函数变换呢？简单函数变换用来将不具有正态分布的数据变成有正态分布的数据。
最后给大家说说数据的规范化，数据的规范化就是剔除掉变量在某种标准的影响，这就需要我们对于数据的最小最大规范化。什么是最小最大规范化呢？也叫离差标准化，对数据进行线性变换，将其范围变成[0,1]。当然我们也可以使用零均值规范化，零均值规范化也叫标准差标准化，处理后的数据均值等于0，标准差为1。如果这两总方法不合适的话，我们也可以使用小数定标规范化，就是移动属性值的小数位数，将属性值映射到区间内即可。通过数据的规范化，我们可以降低降低无效错误的数据对建模的影响、缩减时间、降低存储数据的空间。这样就能够减少数据量，同时也能够方便参数线性回归和多元回归。并且通过对数据属性的规范发现最小的属性以及确定属性概率分布。
综上所述，对于数据分析中的数据预处理的具体内容就是小编为大家提到的数据预处理的具体步骤，具体就是数据清洗、数据的集成、数据变换、数据的规范，希望这篇文章能够给大家带来帮助，最后感谢大家的阅读。
网友评论