美文网首页
机器学习之逻辑回归

机器学习之逻辑回归

作者: MrWisdom | 来源:发表于2018-12-12 13:30 被阅读17次
timg.jpg
逻辑回归是监督学习的另一大类。
对于二分类函数来说,其输出 untitled.jpg

则我们可以将开始线性回归时假设的线性模型f(x)= X\cdot \theta带入上式中,得
\hat y = \frac{1}{1+e^{-(X\cdot \theta)}}
则不费吹灰之力复合了一个线性化参数函数,且其输入为连续值,其输出为近似离散值。

有了模型,则必须创造一个costfunction来最优化参数,那么怎么创造呢?

由模型我们进一步变形,有
In\frac{\hat y}{1-\hat y} = X\cdot \theta
则可以将\hat y视为类后验概率估计P(y=1|x),则可以利用极大似然法来估计参数,则似然函数为
L(\theta) = \prod_{i=1}^{m}(\hat y^{y_i} (1-\hat y)^{(1-{y_i})})
之后就可以用梯度下降法或牛顿法求解参数\theta
matlab代码实现为:

%% Load Data
data = load('ex2data1.txt');
X = data(:, [1, 2]); y = data(:, 3);

[m, n] = size(X);
% Add intercept term to x and X_test
X = [ones(m, 1) X];
initial_theta = zeros(n + 1, 1);
% Choose some alpha value
alpha = 0.01;
num_iters = 8500;
theta = zeros(3, 1);
J_history = zeros(num_iters, 1);

for iter = 1:num_iters
    theta = theta - alpha / ( X' * (sigmoid(X*theta) - y ) ); 
    J_history(iter) =  -1 * sum( y .* log( sigmoid(X*theta) ) + (1 - y ) .* log( (1 - sigmoid(X*theta)) ) ) ;
end

相关文章

  • 机器学习之Logistic回归(逻辑蒂斯回归)

    机器学习之Logistic回归(逻辑蒂斯回归)

  • 机器学习之_逻辑回归

    逻辑回归又称logistic回归,逻辑斯谛回归,是一种广义的线性回归分析模型。 1. Sigmod函数  Sigm...

  • 机器学习之逻辑回归

    title: 机器学习之逻辑回归date: 2017-04-23 22:42:16categories: IT技术...

  • 机器学习之逻辑回归

    本文将通过以下几部分来讲解逻辑回归: 一.分类和回归任务的区别 二.逻辑回归不是回归 ...

  • 机器学习之逻辑回归

    逻辑回归其实是一个分类算法而不是回归算法。通常是利用已知的自变量来预测一个离散型因变量的值(像二进制值0/1,是...

  • 机器学习之逻辑回归

    逻辑回归 场景简介:使用逻辑回归实现对鸢尾花的分类预测。基于python基本库的实现 模型说明 逻辑回归是一个分类...

  • 机器学习之逻辑回归

    则我们可以将开始线性回归时假设的线性模型带入上式中,得则不费吹灰之力复合了一个线性化参数函数,且其输入为连续值,其...

  • 逻辑回归

    点击链接:逻辑回归 NG机器学习公开课笔记:机器学习笔记

  • 机器学习算法的优缺点

    机器学习算法的优缺点 机器学习算法的优缺点 线性回归 Linear Regression 逻辑回归 Logisti...

  • 逻辑回归模型

    1.逻辑回归介绍2.机器学习中的逻辑回归3.逻辑回归面试总结4.逻辑回归算法原理推导5.逻辑回归(logistic...

网友评论

      本文标题:机器学习之逻辑回归

      本文链接:https://www.haomeiwen.com/subject/axbuhqtx.html