Linear Classifiers and Logistic Regression
手把手教线性分类器和逻辑回归
线性分类
线性分类问题是数据在空间中的分布,可以用一条直线(或平面/超平面)分割。如螺旋状>的数据线性不可分。
线性分类器是一些可以解决线性分类问题的机器学习算法,其模型往往都是一个线性函数,
如决策树桩/线性回归/支持向量机。
线性回归和逻辑回归是数据挖掘领域最简单最基础的机器学习算法,几乎所有的机器学习书>籍和教程都会将此算法放在最前面介绍,之后再逐渐深入。如周志华老师的《机器学习》一
书放在第三章,是最先介绍的机器学习算法。如Andrew Ng老师的机器学习网络教程放在第>一,二,三周,也是最先开始介绍的机器学习模型。
线性回归假设结果和特征满足线性关系,即$ h_{\Theta} (x)=\Theta{_0}+\Theta{_1}x_1+\Theta{_2}x_2+\Theta{_3}x_3 $ ,为连续模型,容易受噪声影响
逻辑回归本质上是线性回归,只是在特征到结果的映射上添加一层函数映射,即$ z=h_{\Theta} (x)=\Theta{_0}+\Theta{_1}x_1+\Theta{_2}x_2+\Theta{_3}x_3 ,g(z)=\frac{1}{1+e^-z} $ ,添加映射后,连续模型变为二元模型,受噪声影响变小。
网友评论