美文网首页
凸优化随笔

凸优化随笔

作者: 悟器大叔 | 来源:发表于2018-10-04 13:20 被阅读34次

凸优化的应用十分十分广泛

投资组合中:最大化收益函数,然后列出一些限制条件。
工程控制中
最优控制理论
医疗图像中:
压缩感知

工程学博士的核心:最优化理论,设计一个东西,使其满足要求并最优
计算数学博士的核心:将现代数学知识应用到具体的算法

个人思考的最优化理论来源,第3此工业革命也就是大概前30年左右的时间,信息技术爆炸性增长,电气系统设计中需要的各种最优化促使数学家去研究这些应用数学,然后经过做工程的人的推广,形成了现在的这种最优化理论。这在历史上发生过了无数次了,数学自身的不断抽象,自身的发展被做工程的人拿来做成了实际应用,而反逼做数学的人去更进一步的发展理论

最小二乘

判别一个优化问题是否是最小二乘问题十分简单。
只需要检验目标函数是否是二次函数,(然后检验此二次函数是否半正定)

现在的算法发展,如果能够将某个问题转换为凸优化问题,我们就能迅速有效的求解。
如果某个实际问题可以表述为凸优化问题,那么事实上已经解决了这个问题

线性规划

很多问题可以转化为线性规划,比如说

非线性优化问题(局部最优):

现在一般而言都放弃了寻找全局最优的方法,转而寻找局部最优解。
比如DNN就是一个非线性优化问题,所以才会需要调整算法的参数,选取一个足够好的初始点。

局部最优问题中,我们可以将非凸问题近似为凸优化问题,通过求解近似凸问题,得到近似问题的精确解。然后用凸问题的精确解作为局部算法优化的初始值,求解原始非凸问题。
这个厉害了,如果说能够用凸问题来求解变分EM算法的初始值问题,那么说不定就能够得到更优估计。

启发式算法来解决非凸优化,随机算法,粒子群算法,搜索满足一定条件的稀疏向量

全局最优:

在寻找系统的最差参数中经常会用到,因为如果证明了系统在最差的参数下也可以稳定运行,那么就说明了整个系统能够稳定运行。

所以。量子计算机的出现可能打破现有的优化算法,使得非线性优化最优问题得到天文数字般的性能提升。

在全局最优时,经常将原函数转换成为需要给出最优解的下届,计算代价较小。

拉格朗日对偶理论 KKT最优性条件

相关文章

  • 凸优化随笔

    凸优化的应用十分十分广泛 投资组合中:最大化收益函数,然后列出一些限制条件。工程控制中最优控制理论医疗图像中:压缩...

  • 凸优化笔记2-主要内容

    笔记主要内容 凸集、凸函数、凸优化 凸优化理论 若干算法

  • 机器学习(6)——凸优化理论(一)

    概述   凸优化,或叫做凸最优化,凸最小化,是数学最优化的一个子领域,研究定义于凸集中的凸函数最小化的问题。凸优化...

  • Convex Optimization Note 1 | Int

    凸优化,或叫做凸最优化,凸最小化,是数学最优化的一个子领域,研究定义于凸集中的凸函数最小化的问题。凸优化在某种意义...

  • 凸优化有什么用

    本文结构: 凸优化有什么用? 什么是凸优化? 凸优化有什么用? 鉴于本文中公式比较多,先把凸优化的意义写出来吧,就...

  • 凸优化&非凸优化

    凸优化指的是,如果得到了局部最优,那么这个局部最优就是全局最优。 讲凸优化就涉及到凸函数和凸集合集合C内任意两点间...

  • 凸优化相关概念学习笔记

    前言 由于凸优化具有一些很好的性质,比如: 凸问题中的局部最优解就是全局最优解 凸优化理论中的拉格朗日对偶为凸优化...

  • 通俗易懂地理解机器学习理论中的凸优化

    写在前头 凸优化问题(OPT,convex optimization problem)指定义在凸集中的凸函数最优化...

  • 凸优化

    简介 机器学习中常用到数学优化技巧,最常见的优化就属凸优化了,本文参考Stanford CS229 Machine...

  • 凸优化

    我们知道在机器学习中,要做的核心工作之一就是根据实际问题定义一个目标函数,然后找到它的最优解。 最优化问题:求凸函...

网友评论

      本文标题:凸优化随笔

      本文链接:https://www.haomeiwen.com/subject/nmjxaftx.html