1.过拟合
image.png
对训练集有效，对测试集无效
image.png
2.损失函数
用于衡量模型的预测结果和真实结果之间的差异，不同的损失函数适用于不同的问题类型和模型
分类问题用交叉熵函数，Softmax 多分类函数，将多分类的输出值转换为范围在 [0, 1] 和为 1 的概率分布。
3.激活函数
将神经网络神经元的输入信号转化为输出信号，通常激活函数都是非线性的，这使得神经网络可以毕竟任何非线性函数，也就可以应用到任何非线性模型中，使得线性输入变成非线性输出，利于训练w(权重矩阵)和b(阈值)
常见的激活函数有：
image.png
image.png
image.png
image.png
4.反向传播
训练w和b,本质是一个试错的过程，损失函数的梯度方向就是试错的方向
5.CNN (卷积神经网路)
卷积神经网络是在计算机视觉领域取得了巨大成功的深度学习模型，其中的卷积核本质是像素点的权重
卷积运算对输入特征进行了降维（卷积=点乘）
池化:直接进行采样的方式来降维，采样可以采用最大值采样和平均值采样
全连接层：将池化结果进行全链接运算得到输出
6.RNN (循环神经网络)
用于处理序列数据，具有短期记忆问题(越早期的输入印象越小，越晚期的输入影响越大)，所以LSTM最大的改变就是打破了这个逻辑，
[图片上传失败...(image-46311-1716794489964)]
网友评论