美文网首页
稀疏自编码

稀疏自编码

作者: 陈继科 | 来源:发表于2017-01-09 18:19 被阅读108次

自编码
非监督学习的一种

Paste_Image.png

让输出等于输入


Paste_Image.png

稀疏自编码(稀疏限制)
使得大部分隐藏神经元输出接近0!
为了实现这一目的,我们在代价函数中引入相对熵

Paste_Image.png Paste_Image.png Paste_Image.png

这样训练出来的网络隐藏元的输出就会和我们的期待接近,设置大多数ρ接近0就可以实现稀疏自编码

查看自编码所检测的特征
有多少个隐藏神经元就会有特征数量
实际上是检测每个隐藏神经元的系数


大致就是检查边缘

Paste_Image.png

你需要知道的术语:
激活
稀疏

相关文章

  • 稀疏自编码

    自编码非监督学习的一种 让输出等于输入 稀疏自编码(稀疏限制)使得大部分隐藏神经元输出接近0!为了实现这一目的,我...

  • 快速感知:稀疏编码

    人工神经网络实际上是模拟生物神经网络,我们再回过头来看生物神经网络的特性一主要是视觉特性。 人在获取图像信息的时候...

  • 稀疏编码Sparse Coding

    稀疏编码的目的在于寻找一组超完备基来表示原信号。具体的讲解请参考下面的链接,毕竟简书不支持公式输入: Sparse...

  • 一. 经典稀疏编码方法

    1. 稀疏表示 论文题目:Image super-resolution as sparse representat...

  • Image blending based on the spar

    变换域下的另一种融合方法是基于稀疏编码的融合方式,其基本原理如下图所示: 其中的一个关键点是如何进行稀疏编码,用较...

  • 词嵌入(word embedding)简记

    句子的常用表示方法有:独热编码(One-Hot)和词嵌入。独热编码存在的问题有:1、词矩阵稀疏,每个向量只有一个值...

  • 机器学习笔记:

    OneHotEncoder独热编码和 LabelEncoder标签编码 转自https://www.cnblogs...

  • 07 使用特征预处理提升房价预测模型的性能

    类别较多的时候,独热编码性能不好,可能会造成类数的爆炸,可以预先进行粗分,再接着往下分类。独热编码的矩阵是稀疏矩阵...

  • 稀疏

    这么说吧,初中高中那会好友一群吃喝玩乐嘻嘻哈哈停不下来。现在稀疏几个还不长联系就是有急事把你借出来用用就草...

  • 稀疏

    稀疏的风在树叶间流淌 鸟儿以往停留枝头的脚印 随着时间掉落在泥土里 腐烂不知道那年 才能重见天日 稀疏的阳光在树叶...

网友评论

      本文标题:稀疏自编码

      本文链接:https://www.haomeiwen.com/subject/qnjhbttx.html