美文网首页机器学习
机器学习算法深度总结(2)-线性模型

机器学习算法深度总结(2)-线性模型

作者: 婉妃 | 来源:发表于2018-10-08 12:57 被阅读12次

最简单的线性模型, 只能表现线性输入输出函数, 不能很好地与非线性函数近似, 解决实际问题上并无太大价值:



实际应用中常对线性模型进行扩展, 使其变为基于参数的线性模型, 用线性模型表示非线性输入:

(注意: 因为手敲黑体latex公式较费时, 黑体格式向量简写为普通体, 大家看到类似x^T形式相乘的公式, 就默认是对应的都是向量就好了).

基于数据的简单线性模型: f_\theta(x) = \theta_0 + \theta_1x_1 + \theta_2x_2
基于参数的线性模型: f_\theta(x) = \sum_{j=1}^b\theta_j\phi_j(x) = \theta^T\phi(x)
上式中, \phi_j是基函数\phi(x) = (\phi_1(x), \cdots, \phi_b(x))^T的第j个因子, \theta = (\theta_1, \cdots, \theta_b)^T的第j个因子.

举例: 基函数为多项式\phi(x) = (1, x, x^2, x^3)的线性模型 :
f_\theta(x) = \theta_0 + (\theta_1x_1 + \theta_2x_1^2 +\theta_2x_1^3 )+( \theta_1x_2 + \theta_2x_2^2 + \theta_2x_2^3 )

常见的基函数:

  • 多项式: \phi_j(x) = (1, x_j, x_j^2, \cdots, x_j^{b-1})
  • 高斯: \phi_j(x) = \exp(-\frac{(x-u_j)^2}{2s^2})
  • sigmoid: \phi_j(x) = \sigma(\frac{x-u_j}{s}), 其中\sigma(z) = \frac{1}{1+e^{-z}}
  • tanh: 2\sigma(z)-1

下图分别展示了多项式基函数, 高斯基函数和sigmoid基函数的图像:


后续关于线性模型的描述都基于这个最广义的基于参数的线性模型.

相关文章

  • 2019-10-29

    Day2 简单线性回归模型 机器学习入门--简单线性回归机器学习算法之线性回归算法 导入库matplotlib 绘...

  • 机器学习算法深度总结(2)-线性模型

    最简单的线性模型, 只能表现线性输入输出函数, 不能很好地与非线性函数近似, 解决实际问题上并无太大价值: 实际应...

  • 使用Tensorflow实现目标检测(一、基础术语篇)

    1、机器学习与深度学习的区别2、深度学习算法是什么,怎么使用深度学习算法3、数据模型是什么4、什么叫目标检测5、t...

  • 【百面机器学习】优化算法

    机器学习算法 = 模型表征 + 模型评估 + 优化算法。不同的优化算法对应的模型表征和评估指标分别为线性分类模型和...

  • 2-线性模型

    算法简介 线性模型是在机器学习实战中广泛使用的一类模型。线性模型利用输入特征的线性函数(linear functi...

  • 【深度学习实践】01. 线性回归

    线性模型既是机器学习中最基础的学习模型,也是深度神经网络中的神经元基础。而线性回归是借助线性模型解决一个或者多个自...

  • Machine Learning-线性回归算法分析

    AI人工智能时代,机器学习,深度学习作为其核心,本文主要介绍机器学习的基础算法,以详细线介绍 线性回归算法 及其 ...

  • 算法工程师知识树 持续更新

    机器学习算法 监督学习分类模型LRSVM决策树NB回归模型线性回归 最小二乘融合模型baggingRFboosti...

  • 深度学习

    深度学习:通过多层非线性变换对高复杂性数据建模算法的合集。 线性模型的局限性 线性模型的最大特点是任意线性模型的组...

  • 线性模型

    线性模型 线性模型 (Linear model) 是一类机器学习算法的统称, 形式化的定义为: 通过给定的数据集 ...

网友评论

    本文标题:机器学习算法深度总结(2)-线性模型

    本文链接:https://www.haomeiwen.com/subject/jindaftx.html