美文网首页
2019-01-07-小样本深度学习

2019-01-07-小样本深度学习

作者: dynelm | 来源:发表于2019-01-08 21:26 被阅读0次

小样本数据通常不建议用深度学习的理由:

对于classification model,有如下结论

训练样本N,h为Vc维数,详见https://www.cnblogs.com/HappyAngel/p/3633989.html

如果现在训练模型的算法能使得training error很小,而model complexity penalty又很小,就能保证test error也很小的概率是 1-η。所以要使得模型的generalization比较好,要保证training error和model complexity penalty都能比较小。观察model complexity penalty项,可以看到,h越大,model complexity penalty就会越大。N越大,model complexity penalty则会越小。大致上讲,越复杂的模型有着越大的h(VC dimension),所以为了使得模型有着好的generalization,需要有较大的N来压低model complexity penalty。 这就是为什么深度学习的模型需要大量的数据来训练,否则模型的generalization会比较差,也就是过拟合。

所以在小样本进行深度学习的时候一定要模型的适用性。

图网络代码地址。

https://github.com/deepmind/graph_nets

http://tkipf.github.io/graph-convolutional-networks/

相关文章

  • 2019-01-07-小样本深度学习

    小样本数据通常不建议用深度学习的理由: 对于classification model,有如下结论 训练样本N,h为...

  • 读论文Sim-to-Real Robot Learning fr

    我们知道,无论是深度学习还是深度增强学习,都是一种表示经验的办法,都需要通过样本获取和表达经验。但是,深度增强学习...

  • pytorch学习(三)—transforms变换

    Why transforms? 一般情况下收集到的图像样本在尺寸,亮度等方面存在差异,在深度学习中,我们希望样本分...

  • 图像训练样本量少时的数据增强技术

    在深度学习训练过程中,训练数据是很重要的,在样本量方便,一是要有尽量多的训练样本,二是要保证样本的分布够均匀,也就...

  • pytorch学习(十二)—迁移学习Transfer Learn

    前言 在训练深度学习模型时,有时候我们没有海量的训练样本,只有少数的训练样本(比如几百个图片),几百个训练样本显然...

  • 深度学习问题1

    1、深度学习中正负样本的标记及置信度估计怎么确定 2、caffe现在样本标记及置信度估计的源码部分在哪里 PS:在...

  • Logistic regression

    本文讲述如何用深度学习的角度来对机器学习里的Logistic Regression进行实现。 1. 我们对数据样本...

  • 1-2 神经网络基础

    吴恩达《神经网络和深度学习》课程笔记 以监督学习为例 1. 训练集的表达 一组训练样本: m组训练样本的集合: 把...

  • 深度学习工程模板

    深度学习工程模板(DL Project Template),简化加载数据、构建网络、训练模型和预测样本的流程。 源...

  • 图像的相同比较

    因为深度学习训练数据少,要生成样本。虽然在生成样本过程中,是以区间的形式生成,但是领导还是怕有重复,怕训练的时候出...

网友评论

      本文标题:2019-01-07-小样本深度学习

      本文链接:https://www.haomeiwen.com/subject/xzmurqtx.html