1.文章基本信息
- 文章网址http://papers.nips.cc/paper/5964-embed-to-control-a-locally-linear-latent-dynamics-model-for-control-from-raw-images.pdf
- NIPS, 2016, cited by 310+
- 机器人重要的是Perception和Control，本文利用hidden space同时进行Perception的表达和control的表达，将这两个问题集成起来处理。也就是表示学习，使得学习的特征适合做control。这是本文最大的贡献吧。
- 问题：这个文章一看就不是搞robot的人做的，都是机器学习的这一套。问题1，观测x是隐状态z的全面描述，这个假设太强。问题2，实验太toy了，并且没有和传统的perception+control套路进行对比，一比较的话应该没有优势。
2. 方法
论文方法图
- 假设：For simplicity, we will in the following assume that
is a fully observed depiction of
( system state). 我认为，这是一个过于强的假设，在实际应用中存在很大的挑战。
- 在t和t+1时刻，分别用VAE抽取stochastic的特征；
- 将t时刻的特征
, 前向预测一波。利用局部线性的约束，预测的均值和方差都可近似表达，是文章的一个创新点。
- 约束预测和观测量之间的距离，尽量 接近。
- 没有像传统Kalman一样，结合预测和观测，得到更加精确的推断。
3. 实验
隐空间流形
-
左边是真正的隐空间，右边是学习方法得到的隐空间，可以发现作者提出的E2C在这个案例中，比VAE要好很多。
-
其他四个实验都很简单，主要是前提很简单，图像只有80*80大小，纯仿真。表明E2C在倒立摆实验，cart-pole实验，都能取得成功。
4. 遗留的问题
控制算法MPC(model predictive control)作者提到了两个具体的算法,由于以前没接触控制，不是很懂：
-
iLQR， Iterative Linear Quadratic Regulator Design for Nonlinear Biological Movement
Systems. 已经解决，http://rail.eecs.berkeley.edu/deeprlcourse-fa18/static/slides/lec-10.pdf这是 Sergey Levine很好的教程。 -
AICO ，Robot Trajectory Optimization using Approximate Inference
看完喜欢，记得点赞！有问题，也欢迎提出讨论。
网友评论