主要是介绍openMVG源码中的功能实现以及demo验证
SfM_Data结构定义
/// 通用的SfM结构：主要包括存储结构和相机相关的属性
struct SfM_Data
{
/// Considered views
/// 主要是存储影像的物理性质、索引号等基本信息
Views views;
/// Considered poses (indexed by view.id_pose)
/// 存储影像的外参数(旋转矩阵、平移矩阵等)
Poses poses;
/// Considered camera intrinsics (indexed by view.id_intrinsic)
/// 存储影像的内参数，支持多组不同内参数
Intrinsics intrinsics;
/// Structure (3D points with their 2D observations)
/// 物方点信息，物方点坐标及其tracks
Landmarks structure;
/// Controls points (stored as Landmarks (id_feat has no meaning here))
/// 控制点信息
Landmarks control_points;
/// Root Views path
/// 根视图路径
std::string s_root_path;
/// 省略部分代码(主要是与属性关联的方法)
}
准备工作
测试数据集：OpenMVG 官方提供图片样本
法国索镇城堡图片数据集
-
ImageDataset_SceauxCastle (11 images) 法国索镇城堡图片集
-
ReconstructionDataSet (9 dataset with HIGH-RES images) 高清重建数据
球面数据集
无人机数据集
验证SfM
源码中提供了python脚本来支持测试整个sfm过程：增量式SfM_SequentialPipeline.py.in和全局式SfM_GlobalPipeline.py两种
# 增量测试
python3 SfM_SequentialPipeline.py
../image_datasets/ImageDataset_SceauxCastle/images # 图片数据集
../image_datasets/ImageDataset_SceauxCastle/output # sfm计算过程输出的各种文件
全局式也是类似脚本只不过python脚本有所差异
关于增量式SFM处理过程拆解
step-1. 内参数分析：openMVG_main_SfMInit_ImageListing
step-2\. 计算特征点：openMVG_main_ComputeFeatures_OpenCV(使用openCV计算特征点)
/openMVG_main_ComputeFeatures(openMVG内嵌的计算特征点)
step-3\. 构建图像对：openMVG_main_ListMatchingPairs
step-4\. 计算特征匹配：openMVG_main_ComputeMatches
step-5\. 序列/增量式重建：openMVG_main_IncrementalSfM
step-6\. 三维点上色：openMVG_main_ComputeSfM_DataColor
step-7\. 重新三角化：openMVG_main_ComputeStructureFromKnownPoses
- 1、构建sfm结构数据
openMVG_main_SfMInit_ImageListing
-d ../openMVG/src/openMVG/exif/sensor_width_database/sensor_width_camera_database.txt \
-i ../openMVG_Build/image_datasets/ImageDataset_SceauxCastle/images \
-o ../openMVG_Build/image_datasets/ImageDataset_SceauxCastle/matches
-d 指定传感器宽度数据集
-i 指定图片数据集
-o 输出应用与sfm计算的数据结构：sfm_data.json主要包括两部分：
views(一张图片对应一个view)和intrinsics信息(相机内参数)
2、提取特征
主要是对每张影像进行特征提取与特征描述，输出.feat和.desc两种结果文件,还有一个特征描述json文件，默认使用SIFT算子
openMVG_main_ComputeFeatures
-i ../openMVG_Build/image_datasets/ImageDataset_SceauxCastle/matches/sfm_data.json
-o ../openMVG_Build/image_datasets/ImageDataset_SceauxCastle/output/matches
-i：用于sfm计算的数据结构，也就是前面那一步输出的sfm_data.json文件
-o: 输出.feat和.desc的目录
3、匹配点集
计算匹配点集
openMVG_main_PairGenerator
-i ../openMVG_Build/image_datasets/ImageDataset_SceauxCastle/matches/sfm_data.json
-o ../openMVG_Build/image_datasets/ImageDataset_SceauxCastle/pairlist
4、特征匹配
基于第二步的特征提取后的数据来进行特征匹配，建立重叠影像间的匹配点集，分为基于描述子相似度的初始匹配和几何滤波剔除错误匹配点两步
openMVG_main_ComputeMatches
-i ../openMVG_Build/image_datasets/ImageDataset_SceauxCastle/matches/sfm_data.json \
-o ../openMVG_Build/image_datasets/ImageDataset_SceauxCastle/matches/output
【关于-o的参数 需要和生成用于sfm计算的数据结构文件sfm_data.json在同个根目录，并且输出要另外指定子目录(???待结合代码验证)，否则会出现Error；
另外还有一个必须输入参数-p 匹配文件列表，实际可以不指定(???待结合代码验证)】
5、匹配过滤
计算一系列视图之间对应的特征: -加载视图图像描述(区域:features & descriptors) -计算假定的局部特征匹配(描述符匹配) -计算几何相干特征匹配(从假定匹配中进行鲁棒模型估计) -导出计算数据
openMVG_main_GeometricFilter
-i ../openMVG_Build/image_datasets/ImageDataset_SceauxCastle/matches/sfm_data.json
-m ../openMVG_Build/image_datasets/ImageDataset_SceauxCastle/matches.putative.bin
-o ../openMVG_Build/image_datasets/ImageDataset_SceauxCastle/matches/matches.f.bin
6、执行sfm
主要有两种SfM策略，增量式和全局式处理
openMVG_main_SfM
-i ../openMVG_Build/image_datasets/ImageDataset_SceauxCastle/matches/sfm_data.json \
-m ../openMVG_Build/image_datasets/ImageDataset_SceauxCastle/matches/\
-o ../openMVG_Build/image_datasets/ImageDataset_SceauxCastle
/out_Incremental_Reconstruction/\
-s INCREMENTAL
目前代码调试存在不能编译成功
【临时方案】：通过在外部使用cmake来编译debug结果 cmake -DCMAKE_BUILD_TYPE=DEBUG -G "Ninja" . ../openMVG/src/ Ninja并将编译后的结果放置到源码src对应的编译目录下，测试openMVG_main_SfM是可以正常执行的
7、彩色化结构
openMVG_main_ComputeSfM_DataColor
-i ../openMVG_Build/image_datasets/ImageDataset_SceauxCastle/matches/sfm_data.json
-o ../openMVG_Build/image_datasets/ImageDataset_SceauxCastle/output
/reconstruction_sequential/colorized.ply
网友评论