降维

作者: AntiGravity | 来源:发表于2022-01-20 17:41 被阅读0次

为什么要降维

不降维可能过拟合。

目的

  • 找到宏观信息

    1. 找到潜在变量
    2. 选出重要变量
      高维稀疏向量的局部信息过多,例如购买商品。
  • 找到交叉效应

  • 不建议先降维再拟合模型

    • 丢失局部信息
    • 先验知识很有限

PCA

将原样本x投影到各个主成分上,使在主成分方向投影的方差最大(从第一个开始每个都最大),且不同主成分之间不相关。


NMF(X非负)

分解X(原样本)=B(基向量)W(权重)
损失函数:||X-BW||F (frobenius norm)


tSNE

非线性降维。
目标 - 高维原样本x → 低维新样本y
定义xi与xj的相似度 - 以xi为中心的高斯分布的xj的概率密度
高斯核σ - 数据越密取值越小(可按局部数据空间密度变化)
定义yi与yj的相似度 - 柯西分布(学生t-分布,即tSNE的t)
定义yi的位置 - 以x与y分布的KL散度为损失函数


实现

隐藏维度选取:根据数据
数据预处理:标准化;选重要数据;去掉过于稀疏的;可构建2、3折交叉

相关文章

  • 单细胞笔记5-tSNE和UMAP

    降维 降维顾名思义就是把数据或特征的维数降低,一般分为线性降维和非线性降维,比较典型的如下: 线性降维:PCA(P...

  • 浅谈“降维打击”思维

    浅谈“降维打击”思维 导语:降维打击,顾名思义,首先要降维。降维打击就是将攻击目标本身所处的空间维度降低,致使目...

  • 降维打击,升级认知

    “降维打击”不是让自己降维去打击,而是通过把对方的维度降低,抽走三维的一维变成二维的,实现打击。“降维打击”这个科...

  • 知识碎片2(含日记)

    一、知识碎片 1.粥佐罗:升维训练、降维打击;升维输入、降维输出 升维训练、降维打击:一位女拳击运动员,对待比赛非...

  • 降维攻击学习笔记

    最近刚看了降维攻击的概念,那什么叫做降维攻击,为什么要降维攻击,怎么实现降维攻击呢?以下是我在互联网上看了一些资料...

  • C语言数组的升维与降维之说

    C语言数组的升维与降维之说 C语言数组的升维 C语言数组的降维

  • 三宝妈百日分享之十四 降维打击

    “降维打击”出自中国最牛逼的科幻作家刘慈欣的《三体》中,原文是“降维攻击”,后来都用成“降维打击”。指的是...

  • 降维总结

    降维

  • 排除雷区,享受天堂———实用性与理论性文章的降维阅读法(一)

    --------------- 大纲:为什么要用降维阅读·什么是降维阅读·一步阅读法·二步阅读法·三步阅读法·降维...

  • 降维

    起初以为降维是一个很明显的跨度,比如三维的我们看二维的生物,他的一切行为几乎都一目了然。其实他的泛用性是可以扩展的...

网友评论

      本文标题:降维

      本文链接:https://www.haomeiwen.com/subject/xvthohtx.html