美文网首页
线性编码

线性编码

作者: 陈继科 | 来源:发表于2017-01-10 16:22 被阅读49次

    线性编码的提出是基于这样一个问题
    激活函数的输出是在一定范围内的,比如sigmoid函数输出在【0,1】
    但是我们的原始输入不一定在【0,1】,例如利用PCA我们的输入在0为均值一定方差的分布上。
    所以这时我们把最后一层激活函数使用f(z) = z
    则此时结果的输出就有可能和输入对应。因为这个激活函数是线性的,所以我们称其为线性编码。
    注意除了最后输出层前面的层都为非线性激活函数(sigmoid、tanh、ReLU等等)
    利用线性编码我们不必将所有输入归一化到一定的范围内。

    相关文章

      网友评论

          本文标题:线性编码

          本文链接:https://www.haomeiwen.com/subject/gkokbttx.html