深度学习(神经网络)的许多idea已经提出好几十年了，为什么现在才开始起飞？
最新进展的两大推进因素是：
- 数据可用性。人们花费更多时间在电子设备上(笔记本电脑，移动设备)，人们在使用电子设备的过程中产生了大量的数据，这些数据可以用来训练（喂养）深度学习算法。
- 计算尺度。神经网络的规模需要足够大才能够充分利用现有的庞大的数据集，我们仅仅在几年前才可以训练这样的神经网络。
详细滴说，即使你积累了更多的数据，对于老式的机器学习算法来说，其性能是停滞的。这意味着学习曲线是平的，算法不再随着数据的增长的得到改进：
这就好像是老式算法不知道如何处理我们拥有的所有数据。
如果你在相同的监督学习任务重训练一个小型中立网络，你可能会获得稍微好一代呢的表现
这里，小型中立网络是指只有少量隐藏单元/层/参数的神经网络。最终，如果你训练更大规模的神经网络，你可以获得更好的性能。
因此，当你(i)训练更大规模的神经网络，因此你拥有绿色以上的学习曲线(ii)拥有巨量数据时，你可以获得最好的性能。
其他的一些细节如神经网络架构也很重要，而且这里也有很多的创新。 但是目前提高算法性能的更可靠的方式依然是(i)训练更大规模的网络(ii)获取更多数据。
如何完成(i)和(ii)的过程超乎想象的复杂，本书会详细介绍。我们从对传统学习算法和神经网络都适用的一般通用策略开始，为建立深度学习系统构建最现代的策略。
网友评论