神经网络的全连接层

全连接层（fully connected layers，FC）在整个神经网络中起到“分类器”的作用。

如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层将学到的“分布式特征表示”映射到“样本标记空间”。

在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为h*w的全局卷积，h和w分别为前层卷积结果的高和宽。

由于全连接层的参数冗余（仅全连接层参数就可占整个网络参数80%左右），有些性能优异的网络模型如ResNet和GoogLeNet等均用全局平均池化（global average pooling，GAP）取代全连接层，来融合学到的深度特征，最后仍用softmax等损失函数作为网络目标函数来指导学习过程。