美文网首页机器学习
机器学习算法深度总结(2)-线性模型

机器学习算法深度总结(2)-线性模型

作者: 婉妃 | 来源:发表于2018-10-08 12:57 被阅读12次

最简单的线性模型, 只能表现线性输入输出函数, 不能很好地与非线性函数近似, 解决实际问题上并无太大价值:



实际应用中常对线性模型进行扩展, 使其变为基于参数的线性模型, 用线性模型表示非线性输入:

(注意: 因为手敲黑体latex公式较费时, 黑体格式向量简写为普通体, 大家看到类似x^T形式相乘的公式, 就默认是对应的都是向量就好了).

基于数据的简单线性模型: f_\theta(x) = \theta_0 + \theta_1x_1 + \theta_2x_2
基于参数的线性模型: f_\theta(x) = \sum_{j=1}^b\theta_j\phi_j(x) = \theta^T\phi(x)
上式中, \phi_j是基函数\phi(x) = (\phi_1(x), \cdots, \phi_b(x))^T的第j个因子, \theta = (\theta_1, \cdots, \theta_b)^T的第j个因子.

举例: 基函数为多项式\phi(x) = (1, x, x^2, x^3)的线性模型 :
f_\theta(x) = \theta_0 + (\theta_1x_1 + \theta_2x_1^2 +\theta_2x_1^3 )+( \theta_1x_2 + \theta_2x_2^2 + \theta_2x_2^3 )

常见的基函数:

  • 多项式: \phi_j(x) = (1, x_j, x_j^2, \cdots, x_j^{b-1})
  • 高斯: \phi_j(x) = \exp(-\frac{(x-u_j)^2}{2s^2})
  • sigmoid: \phi_j(x) = \sigma(\frac{x-u_j}{s}), 其中\sigma(z) = \frac{1}{1+e^{-z}}
  • tanh: 2\sigma(z)-1

下图分别展示了多项式基函数, 高斯基函数和sigmoid基函数的图像:


后续关于线性模型的描述都基于这个最广义的基于参数的线性模型.

相关文章

  • 2019-10-29

    Day2 简单线性回归模型 机器学习入门--简单线性回归机器学习算法之线性回归算法 导入库matplotlib 绘...

  • 机器学习算法深度总结(2)-线性模型

    最简单的线性模型, 只能表现线性输入输出函数, 不能很好地与非线性函数近似, 解决实际问题上并无太大价值: 实际应...

  • 使用Tensorflow实现目标检测（一、基础术语篇）

    1、机器学习与深度学习的区别2、深度学习算法是什么，怎么使用深度学习算法3、数据模型是什么4、什么叫目标检测5、t...

  • 【百面机器学习】优化算法

    机器学习算法 = 模型表征 + 模型评估 + 优化算法。不同的优化算法对应的模型表征和评估指标分别为线性分类模型和...

  • 2-线性模型

    算法简介 线性模型是在机器学习实战中广泛使用的一类模型。线性模型利用输入特征的线性函数（linear functi...

  • 【深度学习实践】01. 线性回归

    线性模型既是机器学习中最基础的学习模型，也是深度神经网络中的神经元基础。而线性回归是借助线性模型解决一个或者多个自...

  • Machine Learning-线性回归算法分析

    AI人工智能时代，机器学习，深度学习作为其核心，本文主要介绍机器学习的基础算法，以详细线介绍 线性回归算法 及其 ...

  • 算法工程师知识树 持续更新

    机器学习算法 监督学习分类模型LRSVM决策树NB回归模型线性回归 最小二乘融合模型baggingRFboosti...

  • 深度学习

    深度学习：通过多层非线性变换对高复杂性数据建模算法的合集。 线性模型的局限性 线性模型的最大特点是任意线性模型的组...

  • 线性模型

    线性模型 线性模型 (Linear model) 是一类机器学习算法的统称, 形式化的定义为: 通过给定的数据集 ...

网友评论

    本文标题：机器学习算法深度总结(2)-线性模型

    本文链接：https://www.haomeiwen.com/subject/jindaftx.html

    延伸阅读

    深度阅读

    • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

    栏目导航

    热点阅读

    机器学习

    关于我们|服务条款|联系我们|机器学习算法深度总结(2)-线性模型|投稿指南|网站地图|RSS订阅|排版工具|手机版

    提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

    Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

    备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

    本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

    所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！