1.在对第二个以及更靠后的参数调整时，仍然是用原先的参数，而不是用刚刚更新好的参数来进行偏导运算。
2.学习率不变，随着越来越接近局部最低点，导数值会越来越小，梯度下降法会自动采取更小的幅度接近最低点
3.若起始点便是最低点或局部最低点，那么梯度下降算法将什么也不做。
1.特征缩放
面对多维特征问题时候，保证特征具有相近的尺度，这样做的好处是让梯度下降算法更快地收敛。
特征缩放时，我们通常的目的是将特征的取值约束到−1到+1的范围内
2.学习率的调整
可以绘制出代价函数随着迭代次数的图表来观测算法何时趋于收敛来调整学习率的大小
此处代价函数即为J函数每次迭代参数对应的值，横坐标为迭代次数
3.特征和特征多项式
对于某些线性回归问题，正规方程方法是更好的解决方案
准确来说，只要特征向量的数目并不大，一般来说小于10000，我们通常使用标准方程法，不使用梯度下降法。
4.Octave
5.向量化
向量化最明显的表现是去除代码中的for循环，向量化让程序计算更简化，运行速度更快
梯度下降对参数进行调整注意点 1.在对第二个以及更靠后的参数调整时，仍然是用原先的参数，而不是用刚刚更新好的参数来...
1.在线吴恩达深度学习视频：https://www.bilibili.com/video/av66314465/?...
本人在学习斯坦福大学的机器学习课程，特记录课程概要内容。课程地址: Andrew Ng机器学习课程 什么是机器学习...
学习记录，从小白做起。 传统给机器学习 先来镇楼的，吴恩达机器学习：吴恩达机器学习 OCTAVE版本下载：http...
先列出回归函数代码，可以使用的回归算法包括： xgboost lightgbm catboost sklearn ...
分类问题的k折校验，一般使用KFold，而分类问题一般使用StratifiedKFold。 参数：X - 训练数据...
一直对机器学习充满兴趣，从本周开始学习周志华老师机器学习一书，系列文章记录学习过程、疑惑、心得
1.大纲 机器学习类型： [1]输出空间类型分类：（1）二元分类是机器学习领域非常核心和基本的问题。二元分类有线性...
中心极限定理 中心极限定理指的是给定一个任意分布的总体。我每次从这些总体中随机抽取 n 个抽样，一共抽 m 次。 ...
声明：本部分学习来源于周志华老师《机器学习》，仅为记录学习过程，勿用于商业用途。 要进行机器学习，必须要有数据。这...
本文标题：机器学习记录（1,2）
本文链接：https://www.haomeiwen.com/subject/rqhftqtx.html
网友评论