前面两篇分别分析了apt安装的protobuf和手工编译安装的protobuf,是如何被find_package(Protobuf REQUIRED)
找到的。
考虑到实际中可能多人用同一台Ubuntu电脑/服务器,多种需求共存使得apt以及手工安装的protobuf需要共存。甚至手工编译的protobuf需要同时配置多个版本:一个给TensorFlow用,一个给MNN用;又或者是,别人提供的深度学习模型是基于某个版本x.y.z的protoc编译出来的,你要加载它就必须也用x.y.z版本的protobuf库,低版本或高版本都不行。绝了!
深度学习遭Protobuf荼毒久矣,然则要板砖还是要捏着鼻子把Protobuf配置起来。来,咱们看看多个protobuf版本都存在的情况下,怎么配置。
- 环境依然是ubuntu 16.04;
- 执行了
sudo apt install libprotobuf-dev protobuf-compiler
- 手工编译安装了protobuf到
/home/zz/soft/protobuf-3.8.0
1. 让find_package使用手工编译的Protobuf版本
我们使用“深入理解CMake(5)”中的样例代码,以及CMakeLists.txt的配置,能够找到系统的3.8.0版本的protobuf。换言之,通过设定CMAKE_PREFIX_PATH
,系统的apt安装的libprotobuf不会给find_package(Protobuf)
造成影响。
关键设定:
set(Protobuf_PREFIX_PATH
"/home/zz/soft/protobuf-3.8.0/include"
"/home/zz/soft/protobuf-3.8.0/lib"
"/home/zz/soft/protobuf-3.8.0/bin"
)
list(APPEND CMAKE_PREFIX_PATH "${Protobuf_PREFIX_PATH}")
find_package(Protobuf REQUIRED)
结果输出:
-- === CMAKE_PREFIX_PATH is: /home/zz/soft/protobuf-3.8.0/include;/home/zz/soft/protobuf-3.8.0/lib;/home/zz/soft/protobuf-3.8.0/bin
-- Found Protobuf: /home/zz/soft/protobuf-3.8.0/lib/libprotobuf.a;-lpthread (found version "3.8.0")
-- === Protobuf_INCLUDE_DIR is: /home/zz/soft/protobuf-3.8.0/include
-- === Protobuf_INCLUDE_DIRS is: /home/zz/soft/protobuf-3.8.0/include
-- Configuring done
-- Generating done
-- Build files have been written to: /home/zz/work/oh-my-cmake/build
然而考虑到在“深入理解(3)”一文中对find_package()
的分析,以及modern-cmake的理念,应当让find_package()
在CONFIG模式下找到Protobuf。很容易记得/猜到设定Protobuf_DIR变量,然后再调用find_package()
,然而你也许会遭遇滑铁卢,不禁发出疑问:我设定了Protobuf_DIR,怎么find_package()还是报错说找不到Protobuf呢?
请尝试检查:
-
Protobuf_DIR
的设定是否正确?- 指向了不存在的目录吗?那肯定会报错
- 指向了
~/soft/protobuf-3.8.0
这样的目录吗?那基本上是不对。它应该是包含ProtobufConfig.cmake
或者protobuf-config.cmake
文件的目录
当确认Protobuf_DIR
设定到了正确路径,例如~/soft/protobuf-3.8.0/lib/cmake/protobuf
,清理CMakeCache.txt,再执行cmake,发现找到了protobuf但是版本不对:找到了2.6.1版本的也就是apt安装的版本,而不是自行编译安装的3.8.0版本:
set(Protobuf_DIR "/home/zz/soft/protobuf-3.8.0/lib/cmake/protobuf")
find_package(Protobuf REQUIRED)
-- Detecting CXX compile features - done
-- Found Protobuf: /usr/lib/x86_64-linux-gnu/libprotobuf.so;-lpthread (found version "2.6.1")
-- === Protobuf_INCLUDE_DIR is: /usr/include
虽然我的例子很简单没有报错,但是像MNN或者TensorFlow这样的严格要求Protobuf版本的工程中是会报错的。实际上这里之所以报错,是因为遗漏了非常基础、非常容易被忽略的一点:判断find_package(Protobuf)
是在MODULE模式还是CONFIG模式执行查找?!
由于cmake安装路径下提供了FindProtobuf.cmake
,使得find(Protobuf REQUIRED)
是在MODULE模式下进行检查;而不设定CMAKE_PREFIX_PATH
等预设变量、仅设定Protobuf_DIR
变量的情况下,并不能进入CONFIG模式做查找,Protobuf_DIR
并没有起到作用。
于是乎,觉得:应当同时设定Protobuf_DIR
并指定CONFIG
或者NO_MODULE
字段,才能找到手工编译的Protobuf版本:
set(Protobuf_DIR "/home/zz/soft/protobuf-3.8.0/lib/cmake/protobuf")
find_package(Protobuf REQUIRED CONFIG)
发现运行后不输出任何关于Protobuf的信息;发现还需要手动开启protobuf_MODULE_COMPATIBLE
。于是改为:
set(Protobuf_DIR "/home/zz/soft/protobuf-3.8.0/lib/cmake/protobuf")
set(protobuf_MODULE_COMPATIBLE ON CACHE BOOL "")
find_package(Protobuf REQUIRED CONFIG)
发现运行后报错,提示Protobuf_PROTOC_EXECUTABLE
有问题,于是手动设定,改为:
set(Protobuf_DIR "/home/zz/soft/protobuf-3.8.0/lib/cmake/protobuf")
set(protobuf_MODULE_COMPATIBLE ON CACHE BOOL "")
set(Protobuf_PROTOC_EXECUTABLE "/home/zz/soft/protobuf-3.8.0/bin/protoc")
find_package(Protobuf REQUIRED CONFIG)
发现运行报错不变。这就比较尴尬了:用的是protobuf官方3.8.0版本的源码编译安装的,执行过make install,而它安装的protobuf-config.cmake和protobuf-module.cmake并不能正常的找到Protobuf_PROTOC_EXECUTABLE
也就是protoc可执行文件:
-- Found Threads: TRUE
-- ----- Protobuf_PROTOC_EXECUTABLE is: Protobuf_PROTOC_EXECUTABLE-NOTFOUND
CMake Error at /home/zz/soft/cmake/share/cmake-3.17/Modules/FindPackageHandleStandardArgs.cmake:164 (message):
Could NOT find Protobuf (missing: Protobuf_PROTOC_EXECUTABLE) (found
version "3.8.0.0")
Call Stack (most recent call first):
/home/zz/soft/cmake/share/cmake-3.17/Modules/FindPackageHandleStandardArgs.cmake:445 (_FPHSA_FAILURE_MESSAGE)
/home/zz/soft/protobuf-3.8.0/lib/cmake/protobuf/protobuf-module.cmake:163 (FIND_PACKAGE_HANDLE_STANDARD_ARGS)
/home/zz/soft/protobuf-3.8.0/lib/cmake/protobuf/protobuf-config.cmake:128 (include)
CMakeLists.txt:22 (find_package)
(⊙﹏⊙)这里的输出可以看到,明明找到了protobuf的版本3.8.0.0,但却找不到Protobuf_PROTOC_EXECUTABLE
。查看protobuf-module.cmake
发现了原因:使用了_protobuf_find_libraries
找protoc
(为什么一个可执行程序被当作库来查找呢?能找到才怪呢):
# The Protobuf library
_protobuf_find_libraries(Protobuf protobuf)
# The Protobuf Lite library
_protobuf_find_libraries(Protobuf_LITE protobuf-lite)
# The Protobuf Protoc Library
_protobuf_find_libraries(Protobuf_PROTOC protoc) #!! 这句
if(UNIX)
_protobuf_find_threads()
endif()
# Set the include directory
get_target_property(Protobuf_INCLUDE_DIRS protobuf::libprotobuf
INTERFACE_INCLUDE_DIRECTORIES)
# Set the protoc Executable
get_target_property(Protobuf_PROTOC_EXECUTABLE protobuf::protoc
IMPORTED_LOCATION_RELEASE)
if(NOT EXISTS "${Protobuf_PROTOC_EXECUTABLE}")
get_target_property(Protobuf_PROTOC_EXECUTABLE protobuf::protoc
IMPORTED_LOCATION_DEBUG)
endif()
if(NOT EXISTS "${Protobuf_PROTOC_EXECUTABLE}")
get_target_property(Protobuf_PROTOC_EXECUTABLE protobuf::protoc
IMPORTED_LOCATION_NOCONFIG)
endif()
# Version info variable
set(Protobuf_VERSION "3.8.0.0")
message(STATUS "----- Protobuf_PROTOC_EXECUTABLE is: ${Protobuf_PROTOC_EXECUTABLE}")
至此,我想对广受Protobuf的CMake查找失败之苦、查找错误之苦的朋友们说一句:你们尽力了,是Protobuf官方的cmake脚本写的太烂;老老实实用MODULE的find_package(Protobuf)
吧,CONFIG模式折腾不来。
2. cmake使用apt安装的Protobuf
最简单和理想的情况下,一句话即可:
find_package(Protobuf REQUIRED)
而如果不幸的是你的系统上存在诸如~/.cmake/packages/Protobuf/bcf9164940d285f1a324bc985bc00f3a
这样的目录,或者指定了CMAKE_PREFIX_PATH
,而它里面的路径恰好混合了包括你手工编译的Protobuf和其他库的话(例如没指定安装的prefix,手动编译的包会安装到/usr/local/
下的include, bin, lib等目录,此时的/usr/local/lib
被放到CMAKE_PREFIX_PATH
中),使得apt安装的Protobuf没有被找到。该如何解决呢?
我们知道此时find_package(Protobuf)
仍然处于MODULE模式。可以手动指定Protobuf自身相关的3个变量:
Protobuf_INCLUDE_DIR
Protobuf_LIBRARIES
Protobuf_PROTOC_EXECUTABLE
但是我还是不喜欢这样干。万一某天需要换另一个库,库的名字换了,需要手动指定的相关变量的名字也变了,这很麻烦,不通用。
实际上,apt安装的libprotobuf-dev,提供了可用于pkg_config
查找的".pc"文件:
(base) arcsoft-43% dpkg -L libprotobuf-dev | grep '.pc'
/usr/lib/x86_64-linux-gnu/pkgconfig/protobuf.pc
/usr/lib/x86_64-linux-gnu/pkgconfig/protobuf-lite.pc
而CMake中是兼容pkg-config的,能利用.pc文件做查找,替代find_package()
。具体的原理步骤(包括在Windows下)的使用说明,可以看另一篇: 在cmake中使用pkg-config ;这里仅仅说明对于Protobuf怎么用:
set(ENV{PKG_CONFIG_PATH} /usr/lib/x86_64-linux-gnu/pkgconfig)
find_package(PkgConfig)
pkg_search_module(Protobuf REQUIRED protobuf)
message(STATUS "=== Protobuf_LIBRARIES: ${Protobuf_LIBRARIES}")
message(STATUS "=== Protobuf_INCLUDE_DIRS: ${Protobuf_INCLUDE_DIRS}")
message(STATUS "=== Protobuf_INCLUDE_DIR: ${Protobuf_INCLUDE_DIR}")
message(STATUS "=== Protobuf_INCLUDEDIR: ${Protobuf_INCLUDEDIR}")
输出:
-- Found PkgConfig: /usr/bin/pkg-config (found version "0.29.1")
-- Checking for one of the modules 'protobuf'
-- === Protobuf_LIBRARIES: protobuf;pthread
-- === Protobuf_INCLUDE_DIRS:
-- === Protobuf_INCLUDE_DIR:
-- === Protobuf_INCLUDEDIR: /usr/include
网友评论