一.代价函数的理解
假设模型（函数）：
模型（函数）参数：,例如：
参数的设定对模型拟合程度（拟合真实情况）起到决定性作用
假设函数： 预测值：
真实函数： 真实值：
预测值和真实值（实际值）的差的平方：
意义：平方差越小，预测值和实际值越接近
预测值和真实值（实际值）的差的平方的总和：
意义：每个预测值和实际值都很接近，那么假设函数就能代表（接近）真实函数
：样本容量
i: 样本中的第i个值
平均误差：
累积和的1/2
损失函数（代价函数）：预测值和真实值的离均差平方和。
假设函数：
参数：
代价函数：
假设函数：
参数：
代价函数：
的等高线图
这里有三个点有相同的值
在同一条线上的点，他们的值是相同的
相当于
三维的图被拍扁了，用少量的线表示不同的高度。
加入三维图是——中间低，两边高的——山谷图
山谷的最低值在，一圈一圈圆圈的最中间的位置
二.梯度下降法的理解
步骤：
1.设定的初始值（
）
2.持续改变去减少
：= 代表赋值。
:代表步伐大小
前一个偏导和后一个偏导相比，如果前一个偏导小时候，用后一个偏导代替作为前一个偏导再和下一个偏导相比。最终找到最小的。
那个点是局部最优解，那个点的偏导是0
这个只有全局最优
网友评论