LF-Net就是"LF-Net: Learning Local Features from Images"一种端到端的深度学习局部特征子．
基于OpenMVG稍微对特征提取部分进行改造即可使用深度学习特征点进行重建
主要内容：
- OpenMVG代码修改
- 重建实验对比
- 结论
一. 代码修改
主要修改代码如下：
１．在regions_factory_io.hpp注册下新的特征点，用来序列化
CEREAL_REGISTER_TYPE_WITH_NAME(openMVG::features::LFNET_Float_Regions , "LFNET_Float_Regions");
CEREAL_REGISTER_POLYMORPHIC_RELATION(openMVG::features::Regions, openMVG::features::LFNET_Float_Regions)
２．在region_factory.hpp声明新的特征点类型：
using LFNET_Float_Regions = Scalar_Regions<SIOPointFeature, float, 256>;
EIGEN_DEFINE_STL_VECTOR_SPECIALIZATION_INITIALIZER_LIST(openMVG::features::LFNET_Float_Regions)
３．最后写一下怎么读取特征点，我直接写了新的app实现这个功能．
class LFNET_Image_describer : public Image_describer
{
public:
using Regions_type = LFNET_Float_Regions;
LFNET_Image_describer() : Image_describer() {}
~LFNET_Image_describer() {}
bool Set_configuration_preset(EDESCRIBER_PRESET preset){
return true;
}
std::unique_ptr<Regions> Describe(
const image::Image<unsigned char>& image,
const image::Image<unsigned char> * mask = nullptr
) override
{
return Describe_LFNET(image, mask);
}
std::unique_ptr<Regions_type> Describe_LFNET(
const image::Image<unsigned char>& image,
const image::Image<unsigned char>* mask = nullptr
)
{
std::string filename_=filename;
auto regions = std::unique_ptr<Regions_type>(new Regions_type);
std::ifstream infile_feat(filename_);
std::string feature;
float feat_onePoint; //存储每行按空格分开的每一个float数据
std::vector<float> lines; //存储每行数据
std::vector<vector<float>> lines_feat; //存储所有数据
lines_feat.clear();
while(!infile_feat.eof())
{
getline(infile_feat, feature); //一次读取一行数据
stringstream stringin(feature); //使用串流实现对string的输入输出操作
lines.clear();
while (stringin >> feat_onePoint) { //按空格一次读取一个数据存入feat_onePoint
lines.push_back(feat_onePoint); //存储每行按空格分开的数据
}
if(lines.size() != 0){
lines_feat.push_back(lines); //存储所有数据
}
}
infile_feat.close();
regions->Features().reserve(lines_feat.size());
regions->Descriptors().reserve(lines_feat.size());
// Copy keypoints and descriptors in the regions
int cpt = 0;
for (auto i_kp = lines_feat.begin();
i_kp != lines_feat.end();
++i_kp, ++cpt)
{
SIOPointFeature feat((*i_kp)[0], (*i_kp)[1], 0, 0);
regions->Features().push_back(feat);
Descriptor<float, 256> desc;
//
for (int j = 0; j < 256; j++)
{
desc[j] = (*i_kp)[j+2];
}
//
regions->Descriptors().push_back(desc);
}
return regions;
};
/// Allocate Regions type depending of the Image_describer
std::unique_ptr<Regions> Allocate() const override
{
return std::unique_ptr<Regions_type>(new Regions_type);
}
template<class Archive>
void serialize( Archive & ar )
{
}
};
#include <cereal/cereal.hpp>
#include <cereal/types/polymorphic.hpp>
CEREAL_REGISTER_TYPE_WITH_NAME(LFNET_Image_describer, "LFNET_Image_describer");
CEREAL_REGISTER_POLYMORPHIC_RELATION(openMVG::features::Image_describer, LFNET_Image_describer)
二. 重建实验对比
对于重建的结果如下：
轨迹投影
XYZ
APE
看起来效果还是可以的，对比下SIFT的方法结果，由于我只是更改了pipline特征提取的一层，后面优化流程是一样的，所以可以很好的进行对比研究．
image1.png
image2.png
SIFT里面中间有四帧重建失败了．．．．．导致看起来不太好，还需要再试试，一次性重建一千多张图片还是很费时间的
每隔五帧重建对比：
中间有两帧失败了，导致误差比较大，分别是"1305031938.769073.png"和"1305031938.936828.png"连续两帧，这样导致的误差就比较大了
这相邻四帧如下：
1305031938.601007.png
1305031938.769073.png
1305031938.936828.png
1305031939.101368.png
看起来是中间无纹理区域导致匹配失败
而且图片比较模糊
不过实际比较下发现其实在这相邻几帧匹配效果是不错的：
所以还是重建过程中在这一段累积的误差最后导致在这里失败了．．．．．．
同时还有问题就是，边缘的特征点形成画框一样的分布都不是好的特征点
每隔十帧重建对比：
初看效果出奇的好，不过要考虑到，其中只成功了70帧，本来130帧的，也就是因为overlap太大直接崩了．
image4.png
image.png
看看哪块崩来？
match_screenshot_09.06.2019.png
外点还是蛮多的
不过应该不至于ransac都找不到正确匹配吧．．
网友评论