文/编辑 | 言有三
AI修行之路系列文章是有三AI的代表性作品,共分为5个系列,分别是AI白身境,AI初识境,AI不惑境,AI有识境,不可知。其中前4个系列我们会推出对应的文章,要求如上图,目前已经更新完了30篇文章,白身境和初识境的文章汇总如下,没有学习过的同学可以去补。
【AI白身境】Linux干活三板斧,shell、vim和git
【AI白身境】只会用Python?g++,CMake和Makefile了解一下
【AI白身境】入行AI需要什么数学基础:左手矩阵论,右手微积分
【AI白身境】究竟谁是paper之王,全球前10的计算机科学家
【AI初识境】深度学习模型中的Normalization,你懂了多少?
【AI初识境】被Hinton,DeepMind和斯坦福嫌弃的池化,到底是什么?
下面我们重点还是再回顾一下AI不惑境已经更新的文章。
1、深度学习发展与数据的关系
深度学习成功源于三驾马车,模型,数据和硬件,这背后最核心的还是数据,深度学习正是因为学会了从数据中抽象知识,才能够完成各种各样的任务。
很久以前,我们只会使用抽象好的数据。
后来,我们学会了从数据中自己抽象特征。
后来,我们发明了一个系统让它去抽象特征。
再到后来,我们想让数据把系统也学了。
基于数据的池化策略,归一化策略,优化方法,数据增强,模型搜索等技术全部都被技术人员广泛研究,如果不熟悉,那就读【AI不惑境】数据压榨有多狠,人工智能就有多成功先了解一下。
2、模型性能与深度之间的关系
深度学习模型之所以在各种任务中取得了成功,足够的网络深度起到了很关键的作用。
那么是不是模型越深,性能就越好呢?
为什么加深可以提升性能?
我们又该如何定量评估深度与模型性能?
加深网络后会遇到哪些问题?
这些都是你学习的路上需要搞懂的。
3、模型性能与宽度之间的关系
宽度,即通道(channel)的数量。在一定的程度上,网络越宽,性能越好。
为什么需要足够的宽度呢?
网络到底需要多宽?
网络宽度和深度谁更加重要?
如何更加有效地利用宽度?
这些也是你在学习的路上需要搞懂的。
4、学习率和batchsize的微妙关系
学习率在深度学习模型训练中是一个很敏感的参数,使得研究人员摸索出许多的优化学习率调整的方法。batchsize看似人畜无害,那是因为只有在性能需要进一步提升时表现才足够明显,这两个参数之间是有耦合关系的,在实践中经常一起调整。
那到底学习率如何影响模型性能??
batchsize如何影响模型性能?
它们之间又有什么关系?
【AI不惑境】学习率和batchsize如何影响模型的性能?
5、残差网络的前世今生与原理
在深度学习模型发展史中,残差网络因其简单而有效的结构与异常有效的结果而占据了非常重要的位置,跨层连接在各种架构中都被使用。
那残差网络究竟从何而来?
残差网络为什么有效呢?
残差网络发展出了多少种结构?
6、分组卷积移动端高效网络
我们不仅追求性能更强的模型,更追求性价比更高的模型。在移动端高效的模型设计中,卷积拆分和分组几乎是不可缺少的思想。
那么它们究竟是如何高效?
本身又有哪些发展呢?
关于残差网络,分组网络结构的发展和各种各样的变种,大家可以移步有三AI知识星球获取,有几十套模型解读。
7、接下来还要讲什么
不惑境界要熟练玩转深度学习模型架构和数据,所以接下来还会包括模型训练技巧,数据使用,其他重要模型架构,有一些已经在有三AI知识星球中更新了,等不及的可以提前去学习。
如果你想配合修行之路进行实战,那么有三AI季划,便是为你而来。
网友评论