O.M.

作者: zeiii | 来源:发表于2018-11-15 13:35 被阅读0次

1.最优化问题

无约束:
\qquad D=R^n
\qquad min \ f(x) ,\qquad x \in R^n
约束:
\qquad D \subset R^n
\qquad min \qquad f(x)
\qquad s.t. \qquad g_i(x) \ge 0,i \in \mathcal{I} =\{1,\cdots ,m_1\}
\qquad \qquad \qquad h_j(x)=0 ,j\in \mathcal{E}=\{m_1+1,...,m\}

2.最优解

[严格]局部最优解:
x^*\in D,if \ \exists x^*的一个领域U_\delta (x^*)\triangleq \{x \big | \ ||x-x^*||<\delta\}\\ s.t. \qquad f(x^*) \le f(x),\qquad \forall x\in D \ \cap \ U_\delta (x^*).
[严格]全局最优解:
f(x^*) \le f(x),\qquad \forall x\in D

3.函数

n元单值函数的一阶导数--梯度: n元1值函数求一阶导后会变为n元n值函数,用向量表示
\nabla f(x)= \color{green}{ \begin{bmatrix} \frac{\partial f(x)}{\partial x_1}\\ \frac{\partial f(x)}{\partial x_2}\\ \vdots \\ \frac{\partial f(x)}{\partial x_n}\\ \end{bmatrix}} =(\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},\cdots,\frac{\partial f(x)}{\partial x_n})^T

n元单值函数的二阶导数--hessian阵求二阶导后会变为n元n×n值函数,用矩阵表示,推测求三阶导会变成n元n×n×n值函数。现在不知是否叫张量。
\nabla ^2 f(x)= \begin{bmatrix} \frac {\partial^2 f(x)}{\partial x_1^2} &\cdots & \frac {\partial^2 f(x)}{\partial x_1 \partial x_n} \\ \vdots && \vdots\\ \frac {\partial^2 f(x)}{\partial x_n \partial x_1} &\cdots &\frac {\partial^2 f(x)}{\partial x_n^2} \end{bmatrix}

一元m值函数的一阶导数"m值函数的一阶导还是m值函数"
h(x)= \begin{bmatrix} h_1(x) \\ h_2(x) \\ \vdots \\ h_m(x) \end{bmatrix} \qquad \nabla h(x)= \begin{bmatrix} \frac{\partial h_1(x)}{\partial x}\\ \frac{\partial h_2(x)}{\partial x}\\ \vdots \\ \frac{\partial h_m(x)}{\partial x}\\ \end{bmatrix}

n元m值函数的一阶导数"多元向量值函数,每个h_i(x)都是一个n元单值函数。仅求一次导就变成了n元m×n值函数。推测求二阶导会成n元m×n×n值函数。"
h({\bf x})= \begin{bmatrix} h_1({\bf x}) \\ h_2({\bf x}) \\ \vdots \\ h_m({\bf x}) \end{bmatrix} \qquad \ h'({\bf x})=\begin{bmatrix} \color{green}{\frac{\partial h_1({\bf x})}{\partial x_1}}& \color{green} {\frac{\partial h_1({\bf x})}{\partial x_2} } & \color{green} \cdots & \color{green} {\frac{\partial h_1({\bf x})}{\partial x_n}} \\ \frac{\partial h_2({\bf x})}{\partial x_1} & \frac{\partial h_2({\bf x})}{\partial x_2} &\cdots & \frac{\partial h_2({\bf x})}{\partial x_n}\\ \vdots &&&\vdots \\ \frac{\partial h_m({\bf x})}{\partial x_1} & \frac{\partial h_m({\bf x})}{\partial x_2} &\cdots & \frac{\partial h_m({\bf x})}{\partial x_n}\\ \end{bmatrix}_{m\times n}=\nabla h({\bf x})^T_{n \times m}

4.泰勒展式

多元一阶
f(x)=f(y)+\nabla f(y+\theta (x-y))^T(x-y)
\qquad \quad=f(y)+\nabla f(y)^T(x-y)+o(||x-y||)

多元二阶
f(x)=f(y)+\nabla f(y)^T(x-y)+\frac{1}{2}(x-y)^T \nabla ^2f(y+\theta (x-y))(x-y)
\qquad \quad =f(y)+\nabla f(y)^T(x-y)+\frac{1}{2}(x-y)^T \nabla ^2f(y)(x-y) +o(||x-y||)^2

5.约束问题解法

变为无约束问题

改写:
g_I(x)=(g_1(x),\cdots,g_{m_1}(x))^T,h_E(x)=(h_{m_1+1},\cdots,h_m(x))^T
把约束问题等价地写成
\min \quad f(x)
s.t. \quad g_I(x) \ge 0,
\qquad \quad h_E(x)=0.
问题的可行域由无约束的D = R^n变为约束的D =\{x {\large |} g_I(x) \ge 0,h_E(x)=0\}.

序列无约束问题算法:
通过求解一系列无约束问题来逼近约束问题的解。
罚函数法&乘子法

外点罚函数法:
def \quad F:R^n \to R \qquad F(x)= \begin{cases} f(x), \qquad x\in \color{red}{D}, \\ +\infty ,\qquad x\notin D. \end{cases}
约束问题的解等价于下面无约束问题的解:
\min \quad F(x),\quad x\in \color{purple}{R^n}
引入如下函数:
\color{red}{S(x)}=||h_E(x)||^2+||\min\{g_I(x),0\}||^2,\qquad "约束违反度函数"
\color{purple}{P_\mu(x)}=\frac{1}{2} \mu \color{red}{S(x)},\qquad "罚函数"
F_\mu (x)=f(x)+\color{purple}{P_\mu (x)} \qquad "增广目标函数"

外点罚函数算法:
0. 取初始点x[0],罚参数序列u[k],可以取u[k]=2^(k-1),精度eps>0,令k=0.
1. 构造增广目标函数F[x[k]]=f(x[k])+P(x[k])
2. 求解无约束问题得x[k]
3. P(x[k])<=eps,终止,否则k=k+1转步骤1

内点罚函数法: (...)

乘子法:

相关文章

  • O.M.

    1.最优化问题 无约束:约束: 2.最优解 [严格]局部最优解:[严格]全局最优解: 3.函数 n元单值函数的一阶...

  • springboot整合mybatisplus3报错解决o.m.

    报错信息如下: 2018-09-14 16:55:12 10199 [main] ERROR o.m.spring...

网友评论

      本文标题:O.M.

      本文链接:https://www.haomeiwen.com/subject/dufyfqtx.html