美文网首页
数据标准化的性质及用处

数据标准化的性质及用处

作者: 天之見證 | 来源:发表于2018-12-16 22:02 被阅读0次
  1. 什么是数据标准化 ?
  2. 为什么要标准化 ?
  3. 标准化有什么好处 ?

1. 什么是数据标准化 ?

标准化后的变量 Z 满足:

  1. \bar{Z}=0
  2. \delta_Z=1

即具有和标准正态分布一样的 \mu 和 \delta 通过以上关系, 我们可以推出 Z 是如何由原变量 X 变化而来的:
Z=\frac{X-\bar{X}}{\delta_X}

标准化是通过设置一个整体的性质,来影响到里面具体的每个元素

2. 为什么要标准化 ?

标准化也可以看做一种归一化, 所以它具有归一化的优点,即统一了量纲

拥有不同尺度的不同特征,在梯度下降中会有不同的表现:
\Delta w_j=-\eta\frac{\partial J}{\partial w_j}=\eta\sum_i(t^{(i)}-o^{(i)})x_j^{(i)}
用到梯度下降的算法(logit, SVM,perceptrons,neural networks等都需要做这样的处理)

当然同样的道理也适用于其它归一化方法

3. 标准化有什么好处

1. 不改变变量之间的相关系数

例如: Pearson 相关系数还是 Spearman 或 Kendall相关系数还是偏相关系数都不会改变

2. 不改变秩

4. 相关证明

经过标准化后的数据,Pearson 相关系数不会改变:
X \rightarrow X' = \frac{X-\bar{X}}{\delta_X} \\ Y \rightarrow Y' = \frac{Y-\bar{Y}}{\delta_Y} \\ \begin{align} \rho_{X',Y'} &=E[X'Y'] \\ &=E[\frac{X-\bar{X}}{\delta_X}\frac{Y-\bar{Y}}{\delta_Y} ] \\ &=\frac{E[(X-\bar{X})(Y-\bar{Y})]}{\delta_X\delta_Y} \\ &=\rho_{X,Y} \end{align}

ref:

  1. https://yihui.name/cn/2005/08/20-24-00/
  2. https://sebastianraschka.com/Articles/2014_about_feature_scaling.html#about-standardization
  3. https://en.wikipedia.org/wiki/Feature_scaling
  4. https://baike.baidu.com/item/皮尔森相关系数/4222137

相关文章

  • 数据标准化的性质及用处

    什么是数据标准化 ? 为什么要标准化 ? 标准化有什么好处 ? 1. 什么是数据标准化 ? 标准化后的变量 满足...

  • 概率统计

    期望及性质 方差及性质 矩 协方差及性质 解释：

  • 数据标准化.归一化处理

    数据的标准化 在数据分析之前，我们通常需要先将数据标准化（normalization），利用标准化后的数据进行...

  • 【R】数据类型及性质

    存储模式与基本类型 R的变量可以存储多种不同的数据类型， 可以用typeof()函数来返回一个变量或表达式的类型。...

  • 机器学习面试题

    1. 什么是数据标准化，为什么要进行数据标准化？ 我认为这个问题需要重视。数据标准化是预处理步骤，将数据标准化到一...

  • 均一化和标准化

    数据的标准化（normalization）和归一化 数据的标准化（normalization） 将数据按比例缩放，...

  • 数据分析之数据标准化

    在数据分析之前，我们通常需要先将数据标准化（normalization），数据标准化也就是统计数据的指数化。 数据...

  • 使用Java给现有Excel工作表创建、刷新数据透视表

    数据透视表的定义及用处 数据透视表（Pivot Table）是一种对大量数据快速汇总和建立交叉关系的交互式动态表格...

  • 2018-01-08

    "R语言学习笔记之数据标准化" 数据标准化/归一化 数据标准化是将数据按比例缩放，使之落入一个小的特定区间。在某些...

  • 【御数周播报】 1分钟了解数据治理与管理行业动态

    2017年10月13日星期五 【本周热点】 ◆首届中国数据标准化及治理大会：为大数据江湖“立规矩” 11月6日，“...

网友评论

      本文标题：数据标准化的性质及用处

      本文链接：https://www.haomeiwen.com/subject/cgcfkqtx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|数据标准化的性质及用处|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！