由于本人一直在做图像拼接的工作。发现了很多现阶段拼接方向算法的需要解决的问题。本篇主要是解决关系到能否成功拼接的要素之一特征点的问题
最近各个公众号都在转发的opencv 4.5.1版本更新的BELID算子提高ORB的效率以及效果,确实效果很喜人,而且新版opencv升级了ransac。我目前算法上还是用的是KAZE,和Prosac,比较保守,
近期在看2020年CVPR image matching的比赛。准备从中获取一些思路,2021年image matching 比赛就变成专注SFM的特征提取了,对图像拼接是一个很大的喜讯。
拼接这块目前工业界面临的最大的问题其实我认为是速度问题。拼接的速度优化可以从很多方面入手。例如简单的把拼接问题想成一个黑盒,输入的图片尺寸和输出的尺寸便成了影响拼接的关键因素之一。因为在后续的兴趣点提取和映射时是和图片的尺寸相关的,当然过度的缩小尺寸也会给兴趣点提取精度造成很多损失。输出的尺寸是和输出的效果相关,映射像素的数量直接决定了时间。 还可以在流程中对拼接速度进行优化,例如并行化提取兴趣点,并行化match,并行化映射。都是非常有效的方案。最后其实是在算法上进行创新和探索,拼接这块涉及的算法模块很多,像兴趣点提取,匹配,接缝提取,图像融合,包括相机位姿计算,BA优化相机内外参。都是非常重要的模块,这些细分领域有很多大佬在研究,详细的可以查阅相关文献来实现相关的优质算法。
优化特征点匹配,不得不说特征点和周围算子的质量直接影响匹配的效果。特征点提取算法的效果便变得很关键了,usm等预处理可以在一定程度上提到匹配的准确性,很香。usm相当于是用图片减去一个系数乘以高斯模糊后的图片,减少噪声,比一般的卷积锐化算子更真实可信。
未完待续
网友评论