Ceres求解直接法BA实现自动求导

作者：郭田峰
来源：公众号@3D视觉工坊
链接：Ceres求解直接法BA实现自动求导

BA，即Bundle Adjustment，通常译为光束法平差，束调整，捆绑调整等。但高翔博士觉得这些译名不如英文名称来得直观，所以保留英文名，简称BA。

所谓BA，是指从视觉图像中提炼出最优的3D模型和相机参数。在视觉SLAM里，BA特征点法和直接法两种。前者是最小化重投影误差作为优化目标，后者是以最小化光度误差为目标。

对于特征点法BA，高翔博士所著的《视觉SLAM十四讲》第二版第九章作了非常详细的说明。对于直接法BA，在深蓝学院的课程《视觉SLAM理论与实践》中有用g2o求解的习题，但没有提到Ceres求解。而且，习题中给出的是双线性插值来得到图像点的灰度值。我们知道，直接法BA需要判断图像边界，而且Ceres对双线性插值是不能自动求导的。这都会增加代码实现的难度。

在课后作业里有一题要求用g2o实现直接法BA。相对来说g2o来说，我个人更喜欢用Ceres，毕竟Ceres是谷歌出品，而且，谷歌的非线性优化大多是用Ceres来解决的，功能和效率应该是值得我们信任的。

我们知道，Ceres是推荐我们尽可能使用自动求导的，一是准确性更有保障；二是求解更快速。所以，我们要寻找能实现自动求导的实现方法。

Ceres提供的Ceres的Grid2D和BiCubicInterpolator联合使用可以解决上述两个问题。Grid2D和BiCubicInterpolator的使用需要包含头文件cubic_interpolation.h。

Grid2D是无限二维网格的对象，可以用来载入图像数据，如果是灰度图，其值用标量，如果是彩色图像，其值用3维向量。由于网格的输入数据总是有限的，而网格本身是无限的，因为需要通过使用双三次插值BiCubicInterpolator来计算网格之间的值。而超出网格范围，则将返回最近边缘的值。

将灰度图像数据加载到Grid2D对象，可以避免我们在代码中判断图像边界的问题。而且，Grid2D还可以利用BiCubicInterpolator实现双三次插值，它相对于双线性插值的优点是能实现自动求导。利用它们写出的代码更简洁，执行效率也更高。

Grid2D对象和BiCubicInterpolator对象的定义：

std::unique_ptr<ceres::Grid2D<数据类型[,数据维数]> > 变量名;

数据类型一般是简单类型，如int，float，double等，上面两个定义的数据类型和数据维数必须相同。数据维数是指值是几维数据，默认值为1，即函数值为标量时可以不指定该参数。定义好了对象变量，就可以初始化了，格式如下：

Grid2D对象.reset(new ceres::Grid2D<数据类型[,数据维数]>(数据首地址, 首行号, 总行数, 首列号, 总列数));

数据一般使用vector类型以及嵌套，对于灰度图，我使用的是vector<vector<float>>。

Grid2D还有两个参数，分别是表示数据的储存顺序为行还是列，以及值为向量时向量的每一维值的存储顺序是行还是列，由于在本文中并不重要，所以这里不作介绍。代码中直接采用了默认值。

计算残差代码如下：

struct GetPixelGrayValue {

添加残差块的代码：

for (int ip = 0; ip < poses_num; ip++)

这里有必要就说明的是，要判定变换后的u和v是否在图像内，如果超界了，则该组数据弃之不用。在使用Grid2D和BiCubicInterpolator后，超界后使用的值是最接近的边缘的值。这两者处理结果看似差别很大，但对结果影响很小的，几乎可以忽略不计。

下面的原来的题目：

image image

对于相同的数据，g2o和Ceres求解执行结果如下。从截图数据显示，Ceres优化一共进行了33次迭代，用时7秒多；g2o优化一共进行了199次迭代，用时64秒左右。在这个优化题目里，两者差异非常明显。

image

g2o求解直接法BA执行结果截图

image

Ceres求解直接法BA执行结果截图

在公众号后台回复「DirectBA」,获取g2o和Ceres的求解代码。

本文仅做学术分享，如有侵权，请联系删文。