背景

2012年，Imagenet比赛冠军。

技术点

一、使用ReLU作为CNN激活函数，成功解决了Sigmoid在网络较深时的梯度弥撒问题。
二、训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。（AlexNet中主要在最后几个全连接层使用Dropout）
三、AlexNet全部使用最大池化，避免平均池化的模糊化效果。并且AlexNet提出让步长比池化核的尺寸小，这样池化层的输出之间会有重叠和覆盖，提升了特征的丰富性。
四、提出LRN层(局部相应归一化)，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，提升了的模型的泛化能力。
五、使用CUDA加速深度卷积网络的训练。
六、数据增强。随机地从256256的原始图像中截取224224大小的区域（以及水平翻转的镜像），相当于增加了（256-224）（256-224）2=2048倍的数据量。数据增强后可以大大减轻过拟合，提升泛化能力。进行预测时，则是取图片的四个角加中间共五个位置，并进行左右翻转，一共获得10张图片，对他们进行预测并对10次结果求平均值。另外，对图像的RGB数据进行PCA处理，并对主成分做一个标准差为0.1的高斯扰动（具有高斯分布的随机扰动），增加一些噪声，这个Trick可以让错误率再下降1%。
备注：AlexNet需要训练参数的层是卷积层和全连接层（不包括池化层和LRN）。卷积层有用的地方就是可以通过较小的参数量提取有效的特征。