美文网首页
迁移学习的延伸思考

迁移学习的延伸思考

作者: 刘大力_ | 来源:发表于2018-04-29 19:03 被阅读0次

迁移学习是将一个已经训练好的多层神经网络的后几层拿掉,替换成另一个任务的输出层。已训练完的神经网络提供前面几层的权重,继承给新神经网络。在喂入新任务的数据后,神经网络只需要重头训练后几层。

把这个情形类比人类的话,相当于会开手动档车的人学习开自动档,不必重头学,方向盘、交规、观察车辆等经验继承自之前的开车经验。

迁移学习示例(图片来源于chenrudan.github.io)  

迁移学习相当于知识继承,那么我由此想到,这和真正的人类学习还差了什么?

选择!

人类遇到新任务时知道应该采用哪方面的知识,不必完全重头学起。看到新数学题知道应该回想自己以前的数学知识,开朋友的车知道应该回忆开自己车的经验。那么,如果给迁移学习在合适的地方增加一个分类器,会怎样呢?

加入了分类器层

这样,任何训练好的神经网络都可以接入这个分类器,分类器层的权重要做的事情是区分出任务应该交给哪个子神经层,就像softmax要做的事情一样。

其实,分类层不只需要加在入口处,在任何两个神经层间都有可能需要分类层。

在学车子神经层上增加了分类器

事实上,每个分类层也将是一个多层神经网络。

这样一整个大的神经网络就有点类似于人类了——知道很多知识,也知道什么时候用哪块知识。

我们可以把很多训练好的神经层组入这个大网络。

那么其实现在还有一个问题需要考虑,神经网络应该要学会自主的优化神经层,在新知识入网时,能够在适当的位置加入分类层。

期待我的继续学习。

相关文章

  • 迁移学习的延伸思考

    迁移学习是将一个已经训练好的多层神经网络的后几层拿掉,替换成另一个任务的输出层。已训练完的神经网络提供前面几层的权...

  • 可迁移能力

    底层迁移能力:思考的能力(逻辑思维,升纬思考,本质思考力,结构化,批判思维与元认知) 中层迁移能力:学习力,沟通力...

  • 关于迁移的拓展理解

    关于迁移其实有更广博的理解,这里我们可以延伸一下,从知识迁移开始。 知识迁移是指将A行业中的知识技能迁移到B行业中...

  • 2018-04-15 迁移学习的度量准则

    迁移学习的方法主要包括:基于样本的迁移,基于特征的迁移,基于模型的迁移和基于关系的迁移。 “迁移学习的总体思路可以...

  • 超级行动课︱第1课:行动效能提升5倍的秘密

    用行动指导思考,才能突破自己。——乌龙明月 【课程大纲】 。 迁移学习帮你实现弯道超车 。深度学习和深度行动并行 ...

  • 迁移思考

    查理·芒格说过一句耐人寻味的话:“一个人只要掌握80到90个思维模型,就能够解决90%的问题,而这些模型里面非常重...

  • 迁移学习简述

    摘要:什么是迁移学习,迁移学习的例子有哪些,在预测建模中如何使用迁移学习?本文将带你一步步深入探讨。 迁移学习是一...

  • 迁移思考、升维思考

    溯因推理法,大胆假设,小心求证。 三种思考模型:迁移思考、升维思考、逆向思考 迁移思考:一个人只要掌握80-90个...

  • 打怪升级任务Day20(2017.3.11,周六)

    联系场景-迁移场景 完成3个复述内容的场景应用、迁移思考 分值:3分

  • 2022-03-15

    迁移是一种学习对另一种学习的影响,先前学习对后继学习的影响称为顺向迁移,后继学习对先前学习的影响称为逆向迁移,凡是...

网友评论

      本文标题:迁移学习的延伸思考

      本文链接:https://www.haomeiwen.com/subject/bgqalftx.html