美文网首页深度学习SSD
[Caffe配置]SSD(Single Shot MultiBo

[Caffe配置]SSD(Single Shot MultiBo

作者: qgpmztmf | 来源:发表于2016-11-17 23:07 被阅读8080次

1.SSD简介

SSD全称Single Shot MultiBox Detector,是一个用于目标检测的深度学习框架。
By Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg.

SSD是一个单一的网络对象检测的统一框架。你可以使用代码来训练/评估一个用于目标检测任务的网络。(http://arxiv.org/abs/1512.02325).

作者的Github上https://github.com/weiliu89/caffe 只给出了linux下的代码,下面内容是将代码移植到windows上的实现步骤。本文参考了samylee的博文Windows-SSD配置与测试,在此表示感谢。

2. 配置环境

windows7 + vs2013 + Cuda8.0


3. 所需文件

vs2013,windows-caffe,ubuntu-ssd,libboost,cudnn,OpenCV(可选)ssd_detect.cpp,io.cpp

windows-caffe地址: 链接:http://pan.baidu.com/s/1hrGRu1A 密码:j82rhttps://github.com/conner99/caffe,推荐使用后者。
ubuntu-ssd地址: 链接:http://pan.baidu.com/s/1mhYuf7y 密码:3jp2
libboost地址:链接:http://pan.baidu.com/s/1pLbBMpP 密码:41tq
cudnn地址:链接:http://pan.baidu.com/s/1o8vWBhw 密码:kdj4
opencv地址:链接:http://pan.baidu.com/s/1eSkHBj0 密码:nhch
ssd_detect.cpp地址:链接:http://pan.baidu.com/s/1nvwECNv 密码:e3yn
io.cpp地址:链接:http://pan.baidu.com/s/1i4CL7QP 密码:g623
signal_handler地址:链接:http://pan.baidu.com/s/1mhYuf7y 密码:iubq


4. 配置步骤和出现的问题

本人配置的是使用GPU的版本,以下为配置步骤和出现的问题:

  1. 从上述网址下载的windows-caffe使用的Cuda版本为7.5,我使用的Cuda版本为8.0,所以将其版本改为8.0,重命名.\caffe-master\windows\\路径下的CommonSettings.props.exampleCommonSettings.props,修改Cuda配置为<CudaVersion>8.0</CudaVersion>,此外设置<CpuOnlyBuild>true</CpuOnlyBuild><UseCuDNN>false</UseCuDNN>

  2. 编译项目,报错“未能生成object文件(视警告为错误)”,解决方法:右击选择属性->配置属性->c/c++->常规,将“警告视为错误”的选项改为“否”,若还报错,将math_functions.obj文件放到路径caffe-master\Build\Int\libcaffe\x64\[Release|Debug]下。

  3. 复制.\ssd_new下所有文件(除builddataexample以及models之外)至.\windows-caffe,替换原来文件夹中对应的文件。

  4. 编译文件,报错error C3861: “mkdir”: 找不到标识符。解决办法:在db_lmdb.cpp文件的

CHECK_EQ(mkdir(source.c_str(), 0744), 0) << "mkdir " << source << " failed";

语句上下添加语句,使得:

#ifdef MSC_VER
        CHECK_EQ(mkdir(source.c_str(), 0744), 0) << "mkdir " << source << " failed";
#endif
  1. 编译文件,报错error C2360: “occurrences_32”的初始化操作由“case”标签跳过。解决办法:在hdf5.cpp文件中将所有出错的case语句下的内容都括上大括号{ },比如,将语句
  case H5T_FLOAT:
      LOG_FIRST_N(INFO, 1) << "Datatype class: H5T_FLOAT";
      break;

改为:

  case H5T_FLOAT:
{
      LOG_FIRST_N(INFO, 1) << "Datatype class: H5T_FLOAT";
      break;
}
  1. 选择解决方案下的libcaffe项目,进入include/layers文件夹中,将路径.\caffe-master\include\caffe\layers下除了roi_pooling_layer.hpp的所有hpp文件添加到include/layers中。进入src/layers文件夹中,将路径.\caffe-master\src\caffe\layers下除了roi_pooling_layers.cpp的所有cpp文件添加到src/layers中。

  2. 编译项目,报错error C2065: “SIGHUP”: 未声明的标识符。解决办法:在common.cpp文件最上边一行添加语句

#include "process.h"
  1. 编译项目,报了都是关于signal_handler.cpp文件相关的错误,在本文章第三部分享文件中下载signal_handler.cpp文件替换即可。

  2. 编译项目,报错找不到boost库,在解决方案的caffeclassification项目下的VC++选项下,在包含目录中添加 ~/boost_1_59_0/,在库目录中添加~\boost_1_59_0\stage\lib

  3. 选择解决方案下的libcaffe项目,进入libcaffe/src/util文件夹中,将路径\ssd_new\src\caffe\util下的bbox_util.cpp文件添加到libcaffe/src/util中。

  4. 编译项目,报错找不到标识符"snprintf",解决办法:在bbox_util文件中,在标识符snprintf前面加上下划线_,修改为_snprintf

  5. 编译项目,报错:

error LNK2001: 无法解析的外部符号 "__declspec(dllimport) void __cdecl google::InstallFailureSignalHandler(void)"

采用了粗暴的解决方式,在common.cpp文件中,将出错的函数::google::InstallFailureSignalHandler()注释掉。

  1. 选择解决方案下的classification项目,将ssd_detect.cpp文件添加到项目中,去除注释,修改相应的模型文件和网络结构定义文件的路径。

至此,SSD目标检测的CPU版本,已经可以在windows下运行,接下来配置 SSD的GPU加速版本


  1. 在路径.\caffe-master\windows\\下进入CommonSettings.props配置文件中,设置<CpuOnlyBuild>false</CpuOnlyBuild><UseCuDNN>true</UseCuDNN>

  2. 进入.\caffe-master\windows\\路径下,启动Caffe工程,编译工程,报错:

error MSB3721: 命令“……”已退出,返回代码为1。

修改.\caffe-master\windows\\路径下的CommonSettings.props文件,修改对应内容为:

<CudaArchitecture>compute_30,sm_30;compute_50,sm_50</CudaArchitecture>
  1. 之后编译工程,报错:无法打开cudnn.h文件,从本博客第二部分下载cudnn,之后在项目工程的属性中的vc++包含目录中添加~/cuda/include路径。在库目录中添加~/cuda/lib/x64路径。
  2. 编译工程,报错:error : declaration is incompatible with "const char *cudnnGetErrorString(cudnnStatus_t)",解决方法:修改cudnn.hpp文件中
inline const char* cudnnGetErrorString(cudnnStatus_t status)

inline const char* CUDNNWINAPI cudnnGetErrorString(cudnnStatus_t status)
  1. 编译工程,报错:"::caffe::kBNLL_THRESHOLD" is undefined in device code",解决方法:修改bnll_layer.cu
Dtype expval = exp(min(in_data[index], Dtype(kBNLL_THRESHOLD)));

Dtype expval = exp(min(in_data[index], Dtype(50)));
  1. 编译工程,报错:error : too few arguments in function call. conv_layer.cu。修改conv_layer.cu文件中
this->forward_gpu_gemm(bottom_data + n * this->bottom_dim_, weight, top_data + n * this->top_dim_);

this->forward_gpu_gemm(bottom_data + n * this->bottom_dim_, weight, top_data + n * this->top_dim_, false);
  1. 编译项目,报错error MSB3073,解决办法:进入项目libcaffe的属性设置,设置生成事件 -> 预先生成事件 -> 在生成中使用 -> 否,设置生成事件 -> 后期生成事件 -> 在生成中使用 -> 否

  2. 编译项目,报与boost相关的regex正则表达式库出现问题,在项目中我们不需要正则表达式,所以将相关语句注释掉即可。进入项目libcaffe中,进入detection_output_layer.cu文件,将所有出现regexrv的语句注释掉。进入detection_output_layer.cpp文件,将所有出现regexrv的语句注释掉。进入detection_output_layer.hpp中,将语句#include <boost/regex.hpp>注释掉。

  3. 编译项目,报错:找不到".\caffe\3rdparty\hungarian.h"文件,在路径.\caffe-master\include\caffe\3rdparty\\下添加hungarian.h文件。编译项目,报错:找不到".\src\caffe\3rdparty\hungarian.cpp"文件,在路径.\caffe-master\\src\caffe\3rdparty\\下添加hungarian.cpp文件。

  4. 编译项目,报与thrust相关的错误,进入项目libcaffe中,注释掉

#include "thrust/functional.h"
#include "thrust/sort.h"
……
  thrust::sort_by_key(&confidences[0], &confidences[0] + num_remain, &idx[0],
  thrust::greater<Dtype>());

这些语句。

  1. 进入解决方案下的classification项目的ssd_detect.cpp文件中,去除注释,修改相应的模型文件和网络结构定义文件的路径。

至此,SSD目标检测的GPU版本,已经可以在windows下运行。


5. 感谢

感谢一直踩雷的妇老师,解决了上面提到的大部分错误。希望本篇文章可以给想要在windows环境下运行SSD的程序员们一些帮助。

相关文章

网友评论

  • Troii:up!那个signal_handler的网盘链接的密码不对啊!
  • bfb705c4559f:博主,为什么报这样的错误,我用的CPU,Error parsing text-format caffe.NetParameter: 30:19: Message type "caffe.TransformationParameter"has no field named "distort_param".
    bfb705c4559f:@大毛豆豆 解决了,参考这篇博客的评论https://blog.csdn.net/chen_yingpeng/article/details/59056245#comments
    5e663f5da92a:请问您解决了吗?我也遇到这个问题,无法解决。
  • qgpmztmf:第一个问题可能是由于第二个问题引起的,第二个问题error MSB3721在重新配置工程文件后要重新启动vs才能生效,如果实在不行,就下载https://github.com/conner99/caffe下边的caffe-windows。
    8777f0f3f1a8:大神,编译好久一直报各种错误,能把你编译好的SSD for windows工程发我一份吗?谢谢
    qgpmztmf:恩,<CudaArchitecture>这行,cuda7.5的话这个数值就可以。配置文件中的<CuDnnPath>参数不需要配置。 :blush:
    caney:再多问一句 按照我的配置环境 win7+vs2013+cuda7.5+titianx,<CudaArchitecture>compute_30,sm_30;compute_50,sm_50</CudaArchitecture> 这一行应该为多少合适,另外 <CuDnnPath>D:\software\caffe-vs\cuda-cuDNN</CuDnnPath> 需要把cudnn的绝对路径添加上吗?
    打扰了,谢谢博主 :cherry_blossom: :cherry_blossom:
  • caney:感谢博主大大的文章,实际编译时遇到两个问题:第一个是错误时 class:lossparemeter has no member of pre_fixed_normalizer,文件显示 smooth_L1_loss_ohem;第二个就是GPU部分提到过的error MSB3721,我的配置环境是win7+vs2013+cuda7.5+titianx,修改编译了好多次都过不去。博主你遇到过吗?另外,博主大神能能留个qq吗,想向您请教,谢谢 :hibiscus: :hibiscus:
    b479a0cac99d:老铁们,我来了,问题找到了,但是我还没想到好的解决方案。产生这个错误的原因是,ssd的作者一直在更新他的源码,他目前的caffe.proto文件已经删除了pre_fixed_normalizer、psroi_pooling_param等等参数,你们可以和原版(bvlc)caffe的caffe.proto文件对比下。本博客的作者在将caffe-ssd移植到windows时,还是较早期的caffe-ssd版本,当时的caffe.proto与原版caffe的还很接近。基本情况就是这样了,不知道我说清楚没。所以,一个可能的解决办法就是,比较这两版caffe.proto文件,将caffe-ssd的那些缺失的参数加上,然后用protoc.exe生成新的caffe.pb.h和caffe.pb.cc文件。但这个方法比较笨,你们可以想想其它方法,也许可以直接将最新的linux版caffe-ssd移植到windows下。
    f787fb56b168:class:lossparemeter has no member of pre_fixed_normalizer,文件显示 smooth_L1_loss_ohem_layer.cu。我也遇到这个问题了,你们解决了吗?
    5cd1fff907c9:你好我也碰到了和你一模一样的问题,找了好多解决办法还是不行,请问这两个问题你解决了吗?

本文标题:[Caffe配置]SSD(Single Shot MultiBo

本文链接:https://www.haomeiwen.com/subject/oaflpttx.html