美文网首页
C++代码覆盖率测试

C++代码覆盖率测试

作者: 董成鹏 | 来源:发表于2022-09-01 21:51 被阅读0次

    主要工具是 gcov 和 lcov

    gcov 是 gcc自带的工具, 不需要额外安装。 lcov 需要额外安装, 在 Ubuntu 上使用 sudo apt-get install lcov.

    gcov的使用,请参考这里
    gcov的源码以及内存分布和工具等, 在这里

    具体的步骤和原理:

    1. 在代码编译的时候, 增加 -fprofile-arcs -ftest-coverage 这两个参数, 比如
      g++ -fprofile-arcs -ftest-coverage test.cc -o test, 除了会生成 test 这个可执行文件之外, 还会生成一个 test.gcno文件, 这个文件保存了 test 的行号对照表, BB块等信息, 要保存好这个文件, 稍后会用到。(好像可以在链接的时候增加一个 -lgcov 参数, 但是看起来不增加也可以)
    2. 执行这个可执行文件, 由于增加了前面说的两个参数, 这个test文件在执行的时候会生成执行信息, 并保存在 test.gcda这个文件中, 我们也要保存好这个文件。
    3. 执行 lcov -c -o test.info -b . -d ., 这个命令会把该目录下所有的gcnogcda文件信息搜集起来, 生成到test.info文件中
      (如果没有lcov的话, 使用 gcov命令,把 gcno, gcda, 源文件放到同一个目录下, 执行 gcov source.cpp, 就会生成 source.cpp.gcov文件, 这个文件就包含了覆盖率信息,但是很难看)
    4. 执行genhtml test.info -o Report, 这个会把 test.info 中的信息生成 html 格式的网页, 方便我们阅读。

    其中-ftest-coverage告诉编译器在编译的时候产生 gcno 文件。 -fprofile-arcs告诉编译器在运行的死后产生 gcda 文件

    问题1, 修改makefile 增加这两个编译参数

    如果是 makefile , 直接加入 CFLAGS+=-fprofile-arcs -ftest-coverage
    如果是 Android.mk, 直接加入 LOCAL_CFLAGS += -fprofile-arcs -ftest-coverage,LOCAL_LDFLAGS += -fprofile-arcs -ftest-coverage

    问题2 如何测试 android 中 so 的代码覆盖率, so在执行的时候会生成 gcda 文件吗(根据原理gcda必须在程序正常退出的时候才会生成)? 如果生成的话, 会生成到哪里, 毕竟 system 分区是只读的。
    似乎有一个
    adb shell export GCOV_PREFIX=/data/data/... 这样的操作, 可以设置gcda的输出路径, 但是没有尝试过。

    失败经验

    在我的代码的 Android.mk中增加

    NATIVE_COVERAGE := true
    
    LOCAL_STATIC_LIBRARIES := libgcov
    
    LOCAL_CFLAGS += -ftest-coverage -fprofile-arcs
    
    LOCAL_LDFLAGS := -ftest-coverage -fprofile-arcs
    

    提示 找不到 libgcov.a, 先把 LOCAL_STATIC_LIBRARIES 给去掉了。

    同理, 在使用 Android.bp的时候

    static_libs: ["libgcov"],
    
    native_coverage: true,
    
    cflags: [
    
    "-ftest-coverage",
    
    "-fprofile-arcs",
    
    ],
    
    ldflags: [
    
    "-ftest-coverage",
    
    "-fprofile-arcs",
    
    ],
    

    也要把 static_libs给去掉。

    编译出来的 gcno 在哪里?在服务器上找不到, 看不到服务器的out目录怎么办? 还没有编译过, 没有找到。

    在手机上无法生成 gcda 文件

    1. 可以设置 环境变量, 通过 adb shell 给手机设置该环境变量, 需要 root 之后的手机, 关闭 SeLinux.
      GCOV_PREFIX或者GCOV_PREFIX_STRIP, 比如 export GCOV_PREFIX=/sdcard/gcov, 一般使用GCOV_PREFIX就可以
    2. 在编译的时候在额外增加一个 -fprofile-dir, 也是一个 CFLAG, 指定-fprofile-dir=/path, 这似乎对于手机项目不好使, 就是告诉gcc在编译运行的时候把 gcda 放在 path 目录下, 在电脑上指定手机的目录, 似乎不太好。

    无法生成 gcda 文件

    程序必须正常退出才能生成gcda, 也就是正常调用 exit 才能生成 gcda 文件。 我们手动kill掉进程等方式是不能生成 gcda 文件的。
    这种情况在网上有一种做法是通过 在链接的时候指定一个预加载库, 这个预加载库会拦截 signal 信号。

    示例如下

    #include <stdio.h>
    #include <stdlib.h>
    #include <signal.h>
    #include <signal.h>
    #define SIMPLE_WAY
    
    void sighandler(int signo) 
    { 
    #ifdef SIMPLE_WAY
        exit(signo); 
    #else
        extern void __gcov_flush();     
        __gcov_flush(); /* flush out gcov stats data */
        raise(signo); /* raise the signal again to crash process */ 
    #endif 
    } 
    
    /**
    * 用来预加载的动态库gcov_preload.so的代码如下,其中__attribute__ ((constructor))是gcc的符号,
    * 它修饰的函数会在main函数执行之前调用,我们利用它把异常信号拦截到我们自己的函数中,然后调用__gcov_flush()输出错误信息
    * 设置预加载库 LD_PRELOAD=./gcov_preload.so
    */
    
    __attribute__ ((constructor))
    
    void ctor() 
    {
        int sigs[] = {
            SIGILL, SIGFPE, SIGABRT, SIGBUS,
            SIGSEGV, SIGHUP, SIGINT, SIGQUIT,
            SIGTERM     
        };
        int i; 
        struct sigaction sa;
        sa.sa_handler = sighandler;
        sigemptyset(&sa.sa_mask);
        sa.sa_flags = SA_RESETHAND;
    
        for(i = 0; i < sizeof(sigs)/sizeof(sigs[0]); ++i) {
            if (sigaction(sigs[i], &sa, NULL) == -1) {
                perror("Could not set signal handler");
            }
        } 
    }
    

    把这个文件单独编译成一个库,
    gcc -shared -fpic gcov_preload.c -o libgcov_preload.so

    然后在链接的时候, 把这个预加载库和我们要测试的库连接起来
    LD_PRELOAD=./libgcov_preload.so our.so
    或者echo "/sbin/gcov_preload.so" >/etc/ld.so.preload

    显然这种方式不太适合App的JNI测试

    比较适合App的JNI测试的, 我认为有两种方式:

    1. 是比较简单的方式, App里面增加一个 service, 这个 service 在 onCreate 的时候直接调用 System.exit 结束进程。 当需要 gcda 文件的时候, 我们通过 am 命令启动这个 service 就可以。

    2. 还有一种比较复杂的方式, 可能不仅仅适用于JNI, 还适用于系统的一些so。
      思路就是: so中增加一个方法, 通过JNI 可以调用到这个方法, 然后在这个方法中去调用 __gcov_flush方法来生成 gcda 文件, 比如

    +    setenv("GCOV_PREFIX", "/data/local/tmp/", true /* overwrite */);
    +    void* handle = dlopen("/vendor/lib64/hw/camera.qcom.so", RTLD_LAZY);
    +    if (handle == NULL) {
    +        CAMX_LOG_ERROR(CamxLogGroupHAL, "code coverage dlopen failed");
    +        return;
    +    }
    +    void (*_gcov_flush)() = (void (*)())dlsym(handle, "__gcov_flush");
    +    if (_gcov_flush == NULL) {
    +        CAMX_LOG_ERROR(CamxLogGroupHAL, "code coverage _gcov_flush is null");
    +        return;
    +    }
    +    _gcov_flush();
    

    当需要生成 gcda 的时候, 我们调用so中的对应方法就可以。

    可惜的是这两种方法都没有经过验证

    我验证了这两种方法都不太好使, 直接 System.exit(0) 不会生成 gcda 文件, 不知道为啥。
    在JNI里面调用 __gcov_flush 的时候说找不到这个方法, 即使使用之前先声明 extern void __gcov_flush();也不行

    尝试了一下 增加 --coverage 和 -lgcov 这两个选项, 还没有结果。
    另外一个说法是 一定要先声明 extern "C" void __gcov_flush();, 这个也试了一下, 还没有结果。

    另外, 搜索android源码, 发现在源码中可能会有如下解决方案:

    1. 在增加一个 -fprofile-generate
    2. 增加一个 -O0 -pg 参数

    用 adb shell kill -12 来杀进程, 据说可以起到正常退出的作用。

    最新的gcc其实不支持 __gcov_flush了, 改为__gcov_dump了。 另外, 在运行的时候一定要把路径设置为 /data/data/pkgname/ 下的路径, 要不然没有办法生成 gcda

    排除不需要的文件

    我们通过lcov生成的覆盖率info文件,里面包含了很多不需要被统计到的文件, 我们要对原来生成的 test.info进行进一步的处理, 才能得到我们想要统计的文件

    lcov --extract test.info '*/packages/apps/Camera/*' -o result.info

    这个result.info才是我们需要的。

    如果想要统计的文件多, 不需要统计的文件少, 可以通过--remove来移除一部分不需要统计的文件
    lcov --remove test.info '*/a/*' -o result.info

    也可以合并几个info文件成为一个大的info文件。
    lcov -a test1.info -a test2.info -o result.info

    lcov生成的是html格式, 很多服务器不支持html格式, 这个时候可以使用 gcovr来转换成其他格式,方便我们在服务器上持续集成对比。

    相关文章

      网友评论

          本文标题:C++代码覆盖率测试

          本文链接:https://www.haomeiwen.com/subject/mrvegrtx.html