美文网首页CMake实践
深入理解CMake(6):多个Protobuf版本时让find_

深入理解CMake(6):多个Protobuf版本时让find_

作者: BetterCV | 来源:发表于2020-05-29 22:05 被阅读0次
    package-153360_960_720.png

    前面两篇分别分析了apt安装的protobuf和手工编译安装的protobuf,是如何被find_package(Protobuf REQUIRED)找到的。

    考虑到实际中可能多人用同一台Ubuntu电脑/服务器,多种需求共存使得apt以及手工安装的protobuf需要共存。甚至手工编译的protobuf需要同时配置多个版本:一个给TensorFlow用,一个给MNN用;又或者是,别人提供的深度学习模型是基于某个版本x.y.z的protoc编译出来的,你要加载它就必须也用x.y.z版本的protobuf库,低版本或高版本都不行。绝了!

    深度学习遭Protobuf荼毒久矣,然则要板砖还是要捏着鼻子把Protobuf配置起来。来,咱们看看多个protobuf版本都存在的情况下,怎么配置。

    • 环境依然是ubuntu 16.04;
    • 执行了sudo apt install libprotobuf-dev protobuf-compiler
    • 手工编译安装了protobuf到/home/zz/soft/protobuf-3.8.0

    1. 让find_package使用手工编译的Protobuf版本

    我们使用“深入理解CMake(5)”中的样例代码,以及CMakeLists.txt的配置,能够找到系统的3.8.0版本的protobuf。换言之,通过设定CMAKE_PREFIX_PATH,系统的apt安装的libprotobuf不会给find_package(Protobuf)造成影响。

    关键设定:

    set(Protobuf_PREFIX_PATH
        "/home/zz/soft/protobuf-3.8.0/include"
        "/home/zz/soft/protobuf-3.8.0/lib"
        "/home/zz/soft/protobuf-3.8.0/bin"
    )
    list(APPEND CMAKE_PREFIX_PATH "${Protobuf_PREFIX_PATH}")
    find_package(Protobuf REQUIRED)
    

    结果输出:

    -- === CMAKE_PREFIX_PATH is: /home/zz/soft/protobuf-3.8.0/include;/home/zz/soft/protobuf-3.8.0/lib;/home/zz/soft/protobuf-3.8.0/bin
    -- Found Protobuf: /home/zz/soft/protobuf-3.8.0/lib/libprotobuf.a;-lpthread (found version "3.8.0")
    -- === Protobuf_INCLUDE_DIR is: /home/zz/soft/protobuf-3.8.0/include
    -- === Protobuf_INCLUDE_DIRS is: /home/zz/soft/protobuf-3.8.0/include
    -- Configuring done
    -- Generating done
    -- Build files have been written to: /home/zz/work/oh-my-cmake/build

    然而考虑到在“深入理解(3)”一文中对find_package()的分析,以及modern-cmake的理念,应当让find_package()在CONFIG模式下找到Protobuf。很容易记得/猜到设定Protobuf_DIR变量,然后再调用find_package(),然而你也许会遭遇滑铁卢,不禁发出疑问:我设定了Protobuf_DIR,怎么find_package()还是报错说找不到Protobuf呢?

    请尝试检查:

    • Protobuf_DIR的设定是否正确?
      • 指向了不存在的目录吗?那肯定会报错
      • 指向了~/soft/protobuf-3.8.0这样的目录吗?那基本上是不对。它应该是包含ProtobufConfig.cmake或者protobuf-config.cmake文件的目录

    当确认Protobuf_DIR设定到了正确路径,例如~/soft/protobuf-3.8.0/lib/cmake/protobuf,清理CMakeCache.txt,再执行cmake,发现找到了protobuf但是版本不对:找到了2.6.1版本的也就是apt安装的版本,而不是自行编译安装的3.8.0版本:

    set(Protobuf_DIR "/home/zz/soft/protobuf-3.8.0/lib/cmake/protobuf")
    find_package(Protobuf REQUIRED)
    

    -- Detecting CXX compile features - done
    -- Found Protobuf: /usr/lib/x86_64-linux-gnu/libprotobuf.so;-lpthread (found version "2.6.1")
    -- === Protobuf_INCLUDE_DIR is: /usr/include

    虽然我的例子很简单没有报错,但是像MNN或者TensorFlow这样的严格要求Protobuf版本的工程中是会报错的。实际上这里之所以报错,是因为遗漏了非常基础、非常容易被忽略的一点:判断find_package(Protobuf)是在MODULE模式还是CONFIG模式执行查找?!

    由于cmake安装路径下提供了FindProtobuf.cmake,使得find(Protobuf REQUIRED)是在MODULE模式下进行检查;而不设定CMAKE_PREFIX_PATH等预设变量、仅设定Protobuf_DIR变量的情况下,并不能进入CONFIG模式做查找,Protobuf_DIR并没有起到作用。

    于是乎,觉得:应当同时设定Protobuf_DIR并指定CONFIG或者NO_MODULE字段,才能找到手工编译的Protobuf版本:

    set(Protobuf_DIR "/home/zz/soft/protobuf-3.8.0/lib/cmake/protobuf")
    find_package(Protobuf REQUIRED CONFIG)
    

    发现运行后不输出任何关于Protobuf的信息;发现还需要手动开启protobuf_MODULE_COMPATIBLE。于是改为:

    set(Protobuf_DIR "/home/zz/soft/protobuf-3.8.0/lib/cmake/protobuf")
    set(protobuf_MODULE_COMPATIBLE ON CACHE BOOL "")
    find_package(Protobuf REQUIRED CONFIG)
    

    发现运行后报错,提示Protobuf_PROTOC_EXECUTABLE有问题,于是手动设定,改为:

    set(Protobuf_DIR "/home/zz/soft/protobuf-3.8.0/lib/cmake/protobuf")
    set(protobuf_MODULE_COMPATIBLE ON CACHE BOOL "")
    set(Protobuf_PROTOC_EXECUTABLE "/home/zz/soft/protobuf-3.8.0/bin/protoc")
    find_package(Protobuf REQUIRED CONFIG)
    

    发现运行报错不变。这就比较尴尬了:用的是protobuf官方3.8.0版本的源码编译安装的,执行过make install,而它安装的protobuf-config.cmake和protobuf-module.cmake并不能正常的找到Protobuf_PROTOC_EXECUTABLE也就是protoc可执行文件:

    -- Found Threads: TRUE
    -- ----- Protobuf_PROTOC_EXECUTABLE is: Protobuf_PROTOC_EXECUTABLE-NOTFOUND
    CMake Error at /home/zz/soft/cmake/share/cmake-3.17/Modules/FindPackageHandleStandardArgs.cmake:164 (message):
    Could NOT find Protobuf (missing: Protobuf_PROTOC_EXECUTABLE) (found
    version "3.8.0.0")
    Call Stack (most recent call first):
    /home/zz/soft/cmake/share/cmake-3.17/Modules/FindPackageHandleStandardArgs.cmake:445 (_FPHSA_FAILURE_MESSAGE)
    /home/zz/soft/protobuf-3.8.0/lib/cmake/protobuf/protobuf-module.cmake:163 (FIND_PACKAGE_HANDLE_STANDARD_ARGS)
    /home/zz/soft/protobuf-3.8.0/lib/cmake/protobuf/protobuf-config.cmake:128 (include)
    CMakeLists.txt:22 (find_package)

    (⊙﹏⊙)这里的输出可以看到,明明找到了protobuf的版本3.8.0.0,但却找不到Protobuf_PROTOC_EXECUTABLE。查看protobuf-module.cmake发现了原因:使用了_protobuf_find_librariesprotoc(为什么一个可执行程序被当作库来查找呢?能找到才怪呢):

    # The Protobuf library
    _protobuf_find_libraries(Protobuf protobuf)
    
    # The Protobuf Lite library
    _protobuf_find_libraries(Protobuf_LITE protobuf-lite)
    
    # The Protobuf Protoc Library
    _protobuf_find_libraries(Protobuf_PROTOC protoc)  #!! 这句
    
    if(UNIX)
      _protobuf_find_threads()
    endif()
    
    # Set the include directory
    get_target_property(Protobuf_INCLUDE_DIRS protobuf::libprotobuf
      INTERFACE_INCLUDE_DIRECTORIES)
    
    # Set the protoc Executable
    get_target_property(Protobuf_PROTOC_EXECUTABLE protobuf::protoc
      IMPORTED_LOCATION_RELEASE)
    if(NOT EXISTS "${Protobuf_PROTOC_EXECUTABLE}")
      get_target_property(Protobuf_PROTOC_EXECUTABLE protobuf::protoc
        IMPORTED_LOCATION_DEBUG)
    endif()
    if(NOT EXISTS "${Protobuf_PROTOC_EXECUTABLE}")
      get_target_property(Protobuf_PROTOC_EXECUTABLE protobuf::protoc
        IMPORTED_LOCATION_NOCONFIG)
    endif()
    
    # Version info variable
    set(Protobuf_VERSION "3.8.0.0")
    message(STATUS "----- Protobuf_PROTOC_EXECUTABLE is: ${Protobuf_PROTOC_EXECUTABLE}")
    

    至此,我想对广受Protobuf的CMake查找失败之苦、查找错误之苦的朋友们说一句:你们尽力了,是Protobuf官方的cmake脚本写的太烂;老老实实用MODULE的find_package(Protobuf)吧,CONFIG模式折腾不来

    2. cmake使用apt安装的Protobuf

    最简单和理想的情况下,一句话即可:

    find_package(Protobuf REQUIRED)
    

    而如果不幸的是你的系统上存在诸如~/.cmake/packages/Protobuf/bcf9164940d285f1a324bc985bc00f3a这样的目录,或者指定了CMAKE_PREFIX_PATH,而它里面的路径恰好混合了包括你手工编译的Protobuf和其他库的话(例如没指定安装的prefix,手动编译的包会安装到/usr/local/下的include, bin, lib等目录,此时的/usr/local/lib被放到CMAKE_PREFIX_PATH中),使得apt安装的Protobuf没有被找到。该如何解决呢?

    我们知道此时find_package(Protobuf)仍然处于MODULE模式。可以手动指定Protobuf自身相关的3个变量:

    Protobuf_INCLUDE_DIR
    Protobuf_LIBRARIES
    Protobuf_PROTOC_EXECUTABLE
    

    但是我还是不喜欢这样干。万一某天需要换另一个库,库的名字换了,需要手动指定的相关变量的名字也变了,这很麻烦,不通用。

    实际上,apt安装的libprotobuf-dev,提供了可用于pkg_config查找的".pc"文件:

    (base) arcsoft-43% dpkg -L libprotobuf-dev | grep '.pc'
    /usr/lib/x86_64-linux-gnu/pkgconfig/protobuf.pc
    /usr/lib/x86_64-linux-gnu/pkgconfig/protobuf-lite.pc

    而CMake中是兼容pkg-config的,能利用.pc文件做查找,替代find_package()。具体的原理步骤(包括在Windows下)的使用说明,可以看另一篇: 在cmake中使用pkg-config ;这里仅仅说明对于Protobuf怎么用:

    set(ENV{PKG_CONFIG_PATH} /usr/lib/x86_64-linux-gnu/pkgconfig)
    find_package(PkgConfig)
    pkg_search_module(Protobuf REQUIRED protobuf)
    
    message(STATUS "=== Protobuf_LIBRARIES: ${Protobuf_LIBRARIES}")
    message(STATUS "=== Protobuf_INCLUDE_DIRS: ${Protobuf_INCLUDE_DIRS}")
    message(STATUS "=== Protobuf_INCLUDE_DIR: ${Protobuf_INCLUDE_DIR}")
    message(STATUS "=== Protobuf_INCLUDEDIR: ${Protobuf_INCLUDEDIR}")
    

    输出:

    -- Found PkgConfig: /usr/bin/pkg-config (found version "0.29.1")
    -- Checking for one of the modules 'protobuf'
    -- === Protobuf_LIBRARIES: protobuf;pthread
    -- === Protobuf_INCLUDE_DIRS:
    -- === Protobuf_INCLUDE_DIR:
    -- === Protobuf_INCLUDEDIR: /usr/include

    相关文章

      网友评论

        本文标题:深入理解CMake(6):多个Protobuf版本时让find_

        本文链接:https://www.haomeiwen.com/subject/eccqzhtx.html