2018-12-15逻辑回归高级优化

作者: 奈何qiao | 来源:发表于2018-12-15 17:02 被阅读0次

2018-12-15逻辑回归高级优化
ml-高级优化
机器学习分享——逻辑回归推导以及 numpy 的实现
对逻辑回归的看法
chap.3
12.支持向量机SVM（Support Vector Machi
全面解析并实现逻辑回归(Python)
机器学习（六）——支持向量机
机器学习day7-逻辑回归问题
AI面试题第一弹(神经网络基础)

高级优化

“共轭梯度”，“BFGS”和“L-BFGS”是更复杂，更快速的优化θ的方法，可用于代替梯度下降。但是建议不要自己编写这些更复杂的算法（除非是数值计算方面的专家），而是使用库，因为它们已经过测试和高度优化。 Octave提供它们这些优化库。

优化算法

这些优化算法的一种思路是给出计算导数项和代价函数的方法，你可以认为算法有一个智能的内部循环，而且事实上他们确实有一个智能的内部循环，称为线性搜索(line search)算法，它可以自动尝试不同的学习速率 α 并自动选择一个好的学习速率 α。因此它甚至可以为每次迭代选择不同的学习速率，那么你就不需要自己选择。这些算法实际上在做更复杂的事情，不仅仅是选择一个好的学习速率，所以它们往往最终收敛得远远快于梯度下降。

然后我们可以使用octave的“fminunc（）”优化算法以及“optimset（）”函数，该函数创建一个包含我们要发送到“fminunc（）”的选项的对象。

我们给函数“fminunc（）”我们的成本函数，我们的θ值的初始向量，以及我们事先创建的“options”对象。