美文网首页
机器学习算法笔记

机器学习算法笔记

作者: _爱碎碎碎碎念 | 来源:发表于2019-07-30 18:19 被阅读0次

这是我的第一篇笔记,主要用来归纳几种经典的机器学习算法的思想、适用性、优缺点等。主要是失业在家,需要每天给自己点任务,接受大家监督。

序言

一些基础知识的引入,但是并没有递进关系。

判别式和生成式模型

机器学习方法按照训练数据有无标签将算法分成有监督和无监督的算法,这个概念浅显易懂就不多说。但是最近刷互联网公司的真题时多次预测判别式和生成式模型,就有必要提一提。判别式模型和生成式模型都是有监督的学习方法,二者的区别就是判别式模型是对条件分布P(Y|X)进行建模,而生成式模型是对联合分布P(X,Y)进行建模。

常见的生成式模型有混合高斯模型(Gaussian mixture model, GMM)、朴素贝叶斯(Naive Bayes)、隐马尔科夫模型(Hidden Markov Model,HMM) 等。<br />
常见的判别式模型有支持向量机(Support Vector Machine,SVM)、逻辑回归模型(Logistic Regression、LR)、感知机、最大熵模型(Maximum Entropy Model,MAxEnt),神经网络,线性判别分析(Linear Discriminant Analysis,LDA)等。<br />
接下来的笔记内容尽量能囊括以上所有的算法。

偏差和方差

先来一下浅显易懂的概念:<br />

  • 偏差(bias): 偏差用来衡量预测值和真实值之间的偏离程度。
  • 方差(variance): 方差用来衡量预测数据间的离散程度。<br />
    再来一张很经典的图:
    偏差和方差.png
    靶心是真实值,蓝色点点是预测值,四个靶子分别代表四种情况。
    偏差和方差与过拟合和欠拟合的关系是什么呢?
  1. 高偏差对应着欠拟合,此时模型对于训练和测试数据得到的误差都很大;
  2. 高方差对应着过拟合,此时模型在训练集上表现很好,但是在测试集上表现很差。

过拟合和欠拟合

过拟合和欠拟合就不需要过多解释,以下介绍如何解决模型过拟合或者欠拟合的问题:

过拟合: 可以增加数据样本量
减少数据的特征个数(联想决策树剪枝)、使用正则化、提前终止模型的训练等
欠拟合: 增加数据的特征个数、减少正则化系数的值或者不使用正则化系数、添加多项式特征、增加训练次数
基础知识大概就这么多了吧,接下来就要开始写基础算法了。

相关文章

  • 机器学习和算法

    机器学习算法 github主页:机器学习和算法 最近以来一直在学习机器学习和算法,然后自己就在不断总结和写笔记,记...

  • 机器学习笔记

    学习Andrew Ng的机器学习教程,做个笔记。 初识机器学习 人工智能的核心是机器学习,机器学习的本质是算法 机...

  • 机器学习常见算法汇总

    1.机器学习&数据挖掘笔记_16(常见面试之机器学习算法思想简单梳理)

  • [机器学习入门] 李宏毅机器学习笔记-8(Backpropaga

    [机器学习入门] 李宏毅机器学习笔记-8(Backpropagation;反向传播算法) 当我们要用gradien...

  • 算法/NLP/深度学习/机器学习面试笔记

    算法/NLP/深度学习/机器学习面试笔记 GitHub 地址:https://github.com/imhuay/...

  • Spark机器学习笔记

    Spark机器学习笔记 机器学习 机器学习是数据通过算法构建出模型并对模型进行评估,评估的性能如果达到要求就拿这个...

  • 算法工业界文本分类避坑指南

    完整的思维导图关注包包算法笔记回复【避坑指南】获取下载查看链接。 公众号包包算法笔记,包包(包大人)的机器学习笔记...

  • python 机器学习算法笔记

    个人学习 机器学习算法的笔记,传送门:https://github.com/zhuzhaohua/MachineL...

  • 机器学习实战-knn

    机器学习实战笔记-knn算法实战 本文内容源于《机器学习实战》一书,主要介绍了knn(k-nearest neig...

  • 机器为什么能学习(上)

    本篇文章是台湾大学《机器学习基石上》的课程笔记。以PLA算法为例,推导证明机器学习的可行性。 问题概述 机器学习在...

网友评论

      本文标题:机器学习算法笔记

      本文链接:https://www.haomeiwen.com/subject/gycorctx.html