美文网首页深度学习程序员
Keras Lstm中dropout机制

Keras Lstm中dropout机制

作者: Howyi | 来源:发表于2020-07-24 10:49 被阅读0次

    最近发现Lstm中有个比较鸡肋的dropout机制

    keras.layers.GRU(units, activation='tanh', recurrent_activation='hard_sigmoid', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal', bias_initializer='zeros', kernel_regularizer=None, recurrent_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, recurrent_constraint=None, bias_constraint=None, dropout=0.0, recurrent_dropout=0.0, implementation=1, return_sequences=False, return_state=False, go_backwards=False, stateful=False, unroll=False)

    dropout:0~1之间的浮点数,控制输入线性变换的神经元断开比例

    recurrent_dropout:0~1之间的浮点数,控制循环状态的线性变换的神经元断开比例

    如果单层的LSTM使用dropout,肯定是没有完全学习到输入层传递的信息。如果想要使用dropout机制,直接在层之间加入dropout层不就好了(ps. 一般人也是这么做的)?搞不懂他们为什么会有这样操作。recurrent_drop是在循环层见断开神经元的比例,这还算是比较有用。

    出自:世相科技

    欢迎点赞支持

    相关文章

      网友评论

        本文标题:Keras Lstm中dropout机制

        本文链接:https://www.haomeiwen.com/subject/fuqjlktx.html