美文网首页
算法综述

算法综述

作者: 逍遥_yjz | 来源:发表于2021-01-22 10:36 被阅读0次

1.SVM

SVM,全称是support vector machine,中文名叫支持向量机。SVM是一个面向数据的分类算法,它的目标是为确定一个分类超平面,从而将不同的数据分隔开。

2. LR和SVM的联系与区别

@朝阳在望,联系:
  1、LR和SVM都可以处理分类问题,且一般都用于处理线性二分类问题(在改进的情况下可以处理多分类问题)
  2、两个方法都可以增加不同的正则化项,如l1、l2等等。所以在很多实验中,两种算法的结果是很接近的。
  区别: 1、LR是参数模型,SVM是非参数模型。
  2、从目标函数来看,区别在于逻辑回归采用的是logistical loss,SVM采用的是hinge loss.这两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重。
  3、SVM的处理方法是只考虑support vectors,也就是和分类最相关的少数点,去学习分类器。而逻辑回归通过非线性映射,大大减小了离分类平面较远的点的权重,相对提升了与分类最相关的数据点的权重。
  4、逻辑回归相对来说模型更简单,好理解,特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些,SVM转化为对偶问题后,分类只需要计算与少数几个支持向量的距离,这个在进行复杂核函数计算时优势很明显,能够大大简化模型和计算。
  5、logic 能做的 svm能做,但可能在准确率上有问题,svm能做的logic有的做不了。

3.谈谈判别式模型和生成式模型?

判别方法:由数据直接学习决策函数 Y = f(X),或者由条件分布概率 P(Y|X)作为预测模型,即判别模型。
  生成方法:由数据学习联合概率密度分布函数 P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型。
  由生成模型可以得到判别模型,但由判别模型得不到生成模型。
  常见的判别模型有:K近邻、SVM、决策树、感知机、线性判别分析(LDA)、线性回归、传统的神经网络、逻辑斯蒂回归、boosting、条件随机场
  常见的生成模型有:朴素贝叶斯、隐马尔可夫模型、高斯混合模型、文档主题生成模型(LDA)、限制玻尔兹曼机

4.L1和L2的区别

L1范数(L1 norm)是指向量中各个元素绝对值之和,也有个美称叫“稀疏规则算子”(Lasso regularization)。
  比如 向量A=[1,-1,3], 那么A的L1范数为 |1|+|-1|+|3|.
  简单总结一下就是:
  L1范数: 为x向量各个元素绝对值之和。
  L2范数: 为x向量各个元素平方和的1/2次方,L2范数又称Euclidean范数或Frobenius范数

Lp范数: 为x向量各个元素绝对值p次方和的1/p次方.
  在支持向量机学习过程中,L1范数实际是一种对于成本函数求解最优的过程,因此,L1范数正则化通过向成本函数中添加L1范数,使得学习得到的结果满足稀疏化,从而方便人类提取特征。
  L1范数可以使权值稀疏,方便特征提取。
  L2范数可以防止过拟合,提升模型的泛化能力。

相关文章

  • 算法综述

    1.SVM SVM,全称是support vector machine,中文名叫支持向量机。SVM是一个面向数据的...

  • 遗传算法综述及简单应用实例

    遗传算法综述及简单应用实例

  • 2020-08-11-体细胞calling 算法综述

    体细胞calling 算法综述 somatic single nucleotide variant calling...

  • 推荐算法综述

    1 推荐系统基本流程 推荐系统的目的是通过推荐计算帮助用户从海量的数据对象中选择出用户最有可能感兴趣的对象。涉及三...

  • 排序算法综述

    算法相关GitHub持续更新,欢迎打脸~算法是从事程序开发人员永远绕不过去的一道门。虽然很多时候我们都会说,算法这...

  • 分词算法综述

    更好的阅读体验请跳转至分词算法综述[https://xv44586.github.io/2019/10/22/cu...

  • “k 近邻算法”综述

    “k 近邻算法”综述 本来题目想叫“白话 k 近邻算法”,后来想想,“k 近邻算法” 的描述几乎就是“白话”,所以...

  • 无标题文章

    综述1.1 Cover和Hart在1968年提出了最初的邻近算法1.2 分类(classification)算法1...

  • 超分辨率(Super Resulotion)相关资源大赏

    原文:Awesome-Super-Resolution,作者:ChaofWang,修改部分链接 图解热门算法 综述...

  • PSO优化方向

    (本文参考自:戴朝华. 粒子群优化算法综述. Available at: http://www.scienceti...

网友评论

      本文标题:算法综述

      本文链接:https://www.haomeiwen.com/subject/vaabuftx.html