美文网首页Android音视频系列workAndroid-NDK/JNI
Android JNI 篇 - ffmpeg 获取音视频缩略图

Android JNI 篇 - ffmpeg 获取音视频缩略图

作者: trycatchx | 来源:发表于2017-12-29 18:27 被阅读656次

    还是老规矩先上效果图:

    GIF.gif

    一、使用 FFmpegMediaMetadataRetriever 初步解决问题

    Android 原生的 SDK 提供的 api 中并没有提供在线获取缩略图的接口(只有本地的)
    本地获取音视频缩略图代码(温习一下):
      private InputStream getAudioInPutream(String imageUri) throws IOException {
    
        InputStream ret = null;
        MediaMetadataRetriever  fmmr;
        try {
            fmmr = new MediaMetadataRetriever();
            fmmr.setDataSource(imageUri);
            //先获取封面
            byte[] embedPic = fmmr.getEmbeddedPicture();
            ret = new ByteArrayInputStream(embedPic);
        } catch (Exception ex) {
            ex.printStackTrace();
        } finally {
              if(fmmr != null) {
                fmmr.release();
              }
        }
    
        if (ret != null) {
            return ret;
        } else {
            throw new IOException("Request video thumb failed by ffmpeg");
        }
    
    
    }
    
    灵机一动的我,好像 ffmpeg 可以获取音视频缩略图。 赶紧找找有没有人这么干了,结果还真有在 github 上找到一个 开源项目

    https://github.com/wseemann/FFmpegMediaMetadataRetriever

    大神终究还是大神。666。好了废话不说直接用起来:

       private Bitmap getVideoThumBitmap(String imageUri) throws IOException {
    
        ImageInputStream ret = null;
        Bitmap ret = null;
        try {
            fmmr = new FFmpegMediaMetadataRetriever();
    
            fmmr.setDataSource(imageUri);
    
            //获取视频的时长
            String value = fmmr.extractMetadata(FFmpegMediaMetadataRetriever.METADATA_KEY_DURATION);
    
            long frameTime = -1;
            if (value != null) {
                try {
                    frameTime = Integer.parseInt(value);
                } catch (NumberFormatException e) {
                }
            }
            if (frameTime > 0) {
                frameTime = (frameTime / 2) * 1000;
            } else {
                frameTime = 4000000;
            }
            //获取视频缩略图
            ret = fmmr.getFrameAtTime(frameTime, FFmpegMediaMetadataRetriever.OPTION_CLOSEST_SYNC)
        } catch (Exception ex) {
            ex.printStackTrace();
        } finally {
            try {
                if (fmmr != null) {
                    fmmr.release();
                }
            } catch (Throwable e) {
            }
    
        }
    
        return ret;
    }
    
    用的感觉还不错。过了几天老板把我叫过去怼了一顿,加了这视频缩略图 app 用着用着怎么闪退了。而且还怎么慢,切换界面还不能取消之前请求...(心中一千万个草拟吗奔腾而过..)
    好吧来看看 log,尼玛 ffmpeg 的 log 一点也没有打印(原因是编译so库的时候 没有--enable-debug 因为不加 log 可以减少 so 的体积)... 好吧看来这个库还是不完美,还是的自己填上这个坑。看了一下作者这个库,ffmpeg 库已经三年没有更新了在这日新月异科技迅猛发达的时代,这是大件事.. 意思就是要我编译一个 最新的版本的 ffmpeg 换上?

    二、优化 FFmpegMediaMetadataRetriever —— 替换新版本 ffmpeg

    来吧动手起来,先到官网下载最新的
    ffmpeg 源码
    搭建 VMware + Ubuntu 环境(这个网上自己找下教程),下载 linux 平台下的 ndk。 搞定!!
    接下来就是写好编译脚本放 ffmpeg 源码的根目录,脚本语言 :build_android.sh 代码 。

    接下来编译:

    1. ctrl+alt+t 打开 ubuntu 终端
    2. cd 到 build_android.sh 文件所在的目录
    3. sudo ./build_android.sh (此处用超级权限去执行)
    4. 等3分钟..
    5. 编译结束
    6. make
    7. sudo make install (打包 so 和头文件.h )
    好了,居然出现错误(尼玛我这是官网的代码还出错) :
    libavcodec/hevc_mvs.c: In function 'derive_spatial_merge_candidates':
    libavcodec/hevc_mvs.c:368:23: error: 'y0000000' undeclared (first use in this function)
    libavcodec/hevc_mvs.c:368:23: note: each undeclared identifier is reported only once for each function it appears in
    libavcodec/hevc_mvs.c:368:23: error: 'x0000000' undeclared (first use in this function)
    

    其实是宏定义的问题,解决方法:

    这个文件中 ffmpeg\libavcodec\hevc_mvs.c 里面 TAB_MVF_PU(B0)换成 TAB_MVF_PU(0)
    为什么呢?

    因为编译的时候,B0 = 0000000 通过 TAB_MVF_PU 宏定义里面用了连接符##,得出的变量名为 x0000000 或者 y0000000,其实 ffmepg 团队写这代码想要的是 x0y0 这两个变量名。
    好了解决,后面有这个问题直接按照上面的方法 把 B0 换成 0 即可。

    好了so 出来了


    废了我大半天功夫,终于搞出来了。同一份 so 只要名字最长的那个,因为最后的链接都是链接到名字最长的那个 so,重命名 libavcodec.so.57.107.100libavcodec.so(后面三个 so 同样去掉版本号) 然后替换到原工程FFmpegMediaMetadataRetriever 相同位置下,以及把 include 文件夹替换掉,好了一跑,果然不闪退了,视频缩略图获取更加快了。新版本果然优化了很多东西,至于是什么,后面有空再去研究..

    三、优化 FFmpegMediaMetadataRetriever —— 加入中断机制

    终于替换掉了旧版本 ffmpeg,可是还是无法中断缩略图的获取,原项目里面没有 取消的缩略图的 api ,毕竟视频获取缩略图还是挺耗时的,因为要去解析帧数据。如果大量请求 视频缩略图,切换界面后,或者在一个 RecyclerView 快速上拉又不能取消请求。只能等着前面的缩略图一个个加载出来,才能加载到当前界面,这体验简直不能忍。
    为了解决这问题,就要去修改原作者的 jni 代码 。动起手来!!
    找到耗时的接口:
    1. avformat_open_input // 超级耗时接口,有时候能耗时10s+
    2. avformat_find_stream_info // 第二耗时接口
    3. av_read_frame // 第三耗时接口
    java 层加入取消接口:
      nativeCancelRequest();
    
    接口具体的实现是通过:
    1. 设置一个结构体
    typedef struct {
       time_t lasttime; //记录请求开始当下时间
       int timeout; //超时时间 单位 秒
       int interrupt; //1 表示退出请求,0 继续请求
    } Runner;
    
    2.通过 ffmpeg 回调的接口,不断访问 Runner 是否需要取消
    // 回调函数
    int interruptCallback(void *p) {
        Runner *r = (Runner *) p;
        if (r->lasttime > 0) {
            if ((time(NULL) - r->lasttime > r->timeout)
                || (r->interrupt == 1)) {
                
                return 1;
            }
        }
    
        return 0;
    }
    
     state->pFormatCtx->interrupt_callback.callback = interruptCallback;
    
    3.需要取消的时候 通过接口 nativeCancelRequest 把对应线程的 Runner 中的 interrupt 置 1.
    完美退出!!
    好了具体细节看我的源代码。FFmpegMediaMetadataRetriever
    最后祝大家元旦快乐。迎接新的 2018 年!!

    相关文章

      网友评论

        本文标题:Android JNI 篇 - ffmpeg 获取音视频缩略图

        本文链接:https://www.haomeiwen.com/subject/lvmvgxtx.html