一、神经网络:
(1)M-P神经元模型:
西瓜书P97页图5.1(2)典型的神经元激活函数:
西瓜书P98图5.2二、感知机与多层网络(由两层神经元组成)
(1)感知机基本结构 = M-P神经元 + Sgn函数
Tom M.Mitchell著《机器学习》P63图4-2(2)感知机的表征能力:
西瓜书P100图5.4二、多层网络
(3)delta法则与(标准)梯度下降算法&随机梯度下降算法:
1)标准(批量)梯度下降算法:最小化所有训练样本的损失函数,使得最终求得的解为全局最优解,即求解的参数为使风险函数最小。
Tom M.Mitchell著《机器学习》P66(2)随机梯度下降算法:最小化每条样本的损失函数,虽然不是每次迭代的方向均向着全局最优方向,但大的整体方向是全局最优解的方向,最终结果往往在全局最优解附近,所以结果可能有多个 (Ps:线性支持向量机可解决上例有多个解的问题)
Tom M.Mitchell著《机器学习》P65三、误差逆传播算法(error BackPropagation,简称BP算法)
网友评论