美文网首页机器学习
Deep learning: Dropout, DropConn

Deep learning: Dropout, DropConn

作者: 董老师wenjunoy | 来源:发表于2016-08-18 17:42 被阅读1177次

    Dropout

    训练神经网络模型时,如果训练样本比较少,为了防止模型过拟合,可以使用Dropout来一定程度的减少过拟合。Dropout是Hinton 在2012年提出来的。


    Dropout是指在模型训练时随机的让隐层节点的权重变成0,暂时认为这些节点不是网络结构的一部分,但是会把它们的权重保留下来(不更新)上图帮助理解。

    我使用的是Matlab的Deeplearning 的工具包https://github.com/rasmusbergpalm/DeepLearnToolbox, 我只使用的是简单地单隐层的感知机,数据是MNIST手写数字识别,该数据一共有60000个训练样本和10000个测试样本。图片大小是28 * 28,网络结构的层数是[784 512 10],100次迭代,minibatch大小是100,我做了在没有dropout和有dropout的实验对比。dropout的值是0.5,即以0.5的概率随机参数隐层节点。
    代码如下:

    load mnist_uint8
    train_x = double(train_x(1:60000,:)) / 255;
    train_y = double(train_y(1:60000,:));
    test_x = double(test_x(1:10000,:)) / 255;
    test_y = double(test_y(1:10000,:));
    [train_x ,mu, sigma] = zscore(train_x);
    test_x = normalize(test_x, mu,sigma);
    
    %% without dropout
    rand(0);
    nn = nnsetup([ 784 512 10]);
    opts.numepochs = 100;
    opts.batchsize = 100;
    [nn, L] = nntrain(nn, train_x, train_y, opts);
    [er, bad] = nntest(nn, test_x, test_y);
    str = sprintf('testing error rate is : %f', er);
    disp(str);
    
    %% with dropout
    rand(0);
    nn = nnsetup([784 512 10]);
    nn.dropoutFraction = 0.5;
    opts.batchsize = 100;
    opts.numepochs = 100;
    nn = nntrain(nn, train_x, train_y, opts);
    [er, bad] = nntest(nn, test_x, test_y);
    str = sprintf('test error rate is : %f', er);
    disp(str);
    
    

    实验结果是:
    test error rate is : 0.035200
    With dropout, test error rate is : 0.031400

    参考资料:

    DropConnect

    神经网络一般在大规模标签数据分类表现的很好,但是一帮需要更多的层数和更多的神经元,单数如果没有规范化的话,数百万和数十亿的参数很可能导致模型的过拟合。
    现有的Regularization方法:

    • $l_1$ 或者 $l_2$ 惩罚
    • 贝叶斯的方法
    • 早停
    • 以上提到的Dropout方法[Hinton et al.2012]

    DropConnect与Dropout不同的地方是在训练神经网络模型过程中,它不是随机的将隐层节点的输出变成0,而是将节点中的每个与其相连的输入权值以1-p的概率变成0。(一个是输出一个是输入)


    在MNITS数据集上的实验结果,分别是no-Drop,dropout和dropconnect的对比。

    DropConnect的主页有源码可下载:DropConnect project page

    参考资料

    相关文章

      网友评论

        本文标题:Deep learning: Dropout, DropConn

        本文链接:https://www.haomeiwen.com/subject/iwxgjttx.html