1 全局最小:
对于参数空间所有点的误差函数值均不小于该点的误差函数值(任意一点都大于)
2 局部最小
:对于参数空间中的某一点，其领域点的误差函数值均不小于该点的函数值(存在一点该处的误差函数最小)
3 梯度是寻找参数最优的方法之一
，负梯度方向是函数值下降最快的方向，若当前点的梯度值为0，则已达到局部最小，若仅有一个局部最小也是全局最小
4 跳出局部最小的方法:(现阶段跳出极小值技术大多是启发式的，理论尚缺保障)
a 取不同的初始点开始搜索，从中进行选择有可能获得更接近全局最小的结果
b 模拟退火 在每一步都以一定的概率接受比当前解更差的结果
c 随机梯度下降:加入随机因素，即便陷入局部极小点，计算出的梯度仍不为0
e 遗传算法
5 深度学习:
a 增加隐层数比增加隐层神经元数目更有效，但是多隐层神经网络会出现发散 不能收敛到稳定状态
b -训练方法:1 预训练(本层隐结点的输出作为下一层的输入)+微调；2 权共享(如cnn)
c 深度学习：多隐层堆叠，每层对上一层的输出进行处理的机制 对输入信号进行逐层加工，从而把初始的，与输出目标之间联系不太密切的输入表示，转化成与输出目标联系更密切的表示;通过多层处理，将低层特征表示转化成高层特征表示，最后用简单模型可完成复杂分类，因此深度学习也是特征学习或表示学习
cnn 过程不懂，退火算法不懂
网友评论