Bayesian Optimization with a Fin

Lam R, Willcox K, Wolpert D H, et al. Bayesian Optimization with a Finite Budget: An Approximate Dynamic Programming Approach[C]. neural information processing systems, 2016: 883-891.

@article{lam2016bayesian,
title={Bayesian Optimization with a Finite Budget: An Approximate Dynamic Programming Approach},
author={Lam, Remi and Willcox, Karen and Wolpert, David H},
pages={883--891},
year={2016}}

概

贝叶斯优化中的多步优化策略. 像经典的EI方法, 就是只考虑一步, 即希望找到

的期望收益最大化的点为下一个评估点.

上式中的是指目标函数在集合上的最小值.

主要内容

考虑如下动态规划, 第k步的
状态: , 即观测到的点;
控制: , 且
扰动: ;

设状态转移为:

收益(效用函数):

很自然的想法是, 我们最大化, 来获得所需的评估点, 但是问题是, 这个是一个嵌套的最大化优化问题， 不易求解.

本文采用rollout 算法来估计, 具体如下:

给定基本的决策控制(比如最大化EI), 为了最优化, 我们先选择用估计, 其定义如下:

在这里插入图片描述
其中, 用以调节增量.

是一个期望, 可以用Gauss-Hermite正交化估计:

在这里插入图片描述

其中, 用以限制最大的估计步数, 是正交系数, 是Hermite多项式的根(大概).

于是, 便可用下式估计:

在这里插入图片描述
在这里插入图片描述

算法如下:

Input: ;
repeat N:

• 根据(20）近似最大化
• 更新

out: .