IJKPlayer外部获取纹理

作者: 再好一点点 | 来源:发表于2021-10-15 10:31 被阅读0次

本文来自于这位大神，在此基础上我做了一些修改，我发现按照原文作者的做法使用软解的时候会出现卡顿的情况，当然我这边卡顿可能是因为我这边设置或者其他原因导致，不一定是原文作者代码问题。

IJKPlayer是一个很好的视频播放器开源框架，包含iOS端和Android端，虽然好用但是也有一定的局限性需要自己去修改的。比如下面两点：

默认视频渲染帧率是按照视频编码帧率渲染的，一般视频25帧，那么视频渲染的时候就是以25帧来渲染的，这个渲染在普通2d视频没问题，但是如果渲染全景视频随着手机的转动，视角移动会出现卡顿，所以需要提升帧率。
制作SDK供其他地方使用，比如提供视频帧给Unity3D，或者是其他任意地方渲染画面。

以上两条使用原生的播放器是无法解决的，所以就需要自己做一些处理。

一、添加接口

1、在IJKMediaPlayBack.h添加三个方法

image

- (CVPixelBufferRef)framePixelbuffer;
- (void)framePixelbufferLock;
- (void)framePixelbufferUnlock;

2、在ff_ffplay_def.h 的 FFPlayer 数据结构中添加如下:

image

// 引入头文件
#include <CoreVideo/CoreVideo.h>

CVPixelBufferRef szt_pixelbuffer;
pthread_mutex_t szt_pixelbuffer_mutex;

3、在ijkplayer.h中添加：

image

// 引入头文件
#include <CoreVideo/CoreVideo.h>

CVPixelBufferRef ijkmp_get_pixelbuffer(IjkMediaPlayer *mp);
int ijkmp_pixelbuffer_mutex_init(IjkMediaPlayer *mp);
int ijkmp_pixelbuffer_mutex_lock(IjkMediaPlayer *mp);
int ijkmp_pixelbuffer_mutex_unlock(IjkMediaPlayer *mp);

4、在ijkplayer.c添加:

CVPixelBufferRef ijkmp_get_pixelbuffer(IjkMediaPlayer *mp)
{
    return mp->ffplayer->szt_pixelbuffer;
}

int ijkmp_pixelbuffer_mutex_init(IjkMediaPlayer *mp)
{
    int ret = ffp_pixelbuffer_mutex_init(mp->ffplayer);
    return ret;
}

int ijkmp_pixelbuffer_mutex_lock(IjkMediaPlayer *mp)
{
    int ret = ffp_pixelbuffer_lock(mp->ffplayer);
    return ret;
}

int ijkmp_pixelbuffer_mutex_unlock(IjkMediaPlayer *mp)
{
    int ret = ffp_pixelbuffer_unlock(mp->ffplayer);
    return ret;
}

5、在ff_ffplay.h添加:

image

int       ffp_pixelbuffer_mutex_init(FFPlayer *ffp);
int       ffp_pixelbuffer_lock(FFPlayer *ffp);
int       ffp_pixelbuffer_unlock(FFPlayer *ffp);

6、在ff_ffplay.c添加:

int ffp_pixelbuffer_mutex_init(FFPlayer *ffp)
{
    int ret = pthread_mutex_init(&ffp->szt_pixelbuffer_mutex, NULL);
    return ret;
}

int ffp_pixelbuffer_lock(FFPlayer *ffp)
{
    int ret = pthread_mutex_lock(&ffp->szt_pixelbuffer_mutex);
    return ret;
}

int ffp_pixelbuffer_unlock(FFPlayer *ffp)
{
    int ret = pthread_mutex_unlock(&ffp->szt_pixelbuffer_mutex);
    return ret;
}

7、在IJKFFMoviePlayerController.h添加:

image

- (CVPixelBufferRef)framePixelbuffer;
- (void)framePixelbufferLock;
- (void)framePixelbufferUnlock;

8、在IJKFFMoviePlayerController.m添加:

- (CVPixelBufferRef)framePixelbuffer
{
    if (_mediaPlayer)
    {
        return ijkmp_get_pixelbuffer(_mediaPlayer);
    }

    return NULL;
}

- (void)framePixelbufferLock
{
    if (_mediaPlayer)
    {
        ijkmp_pixelbuffer_mutex_lock(_mediaPlayer);
    }
}

- (void)framePixelbufferUnlock
{
    if (_mediaPlayer)
    {
        ijkmp_pixelbuffer_mutex_unlock(_mediaPlayer);
    }
}

二、如何使用：

[self.ijkplayer framePixelbufferLock];
CVPixelBufferRef pixelBuffer = [self.ijkplayer framePixelbuffer];
[self.ijkplayer framePixelbufferUnlock];

三、软解设置

1、添加yuvlib库

yuvlib下载地址，原来的库地址找不到了，我就把自己保留的传上去了。
1-1、将yuvlib库引入到项目中

1-2 、头文件引用 IJKMediaPlayer.xcodeproj->IJKMediaFramework(TARGETS ) -> Build Settings->Header Search Paths:

add  "$(SRCROOT)/yuvlib/include"

1-3、进入到ff_ffplay.c，引入头文件

    #include "libyuv.h"

2、进入到ff_ffplay.c

查找到以下函数

static int decoder_decode_frame(FFPlayer *ffp, Decoder *d, AVFrame *frame, AVSubtitle *sub)

添加代码：

image

ffp_pixelbuffer_lock(ffp);
CVPixelBufferRef cvImage = NULL;
if (ffp->szt_pixelbuffer)
{
    cvImage = ffp->szt_pixelbuffer;
}
int ret = createCVPixelBuffer(ffp, ffp->is->video_st->codec, frame, &cvImage);

 if (!ret)
{
      ffp->szt_pixelbuffer = cvImage;
}
ffp_pixelbuffer_unlock(ffp);

添加以下代码：（这两段代码要放在decoder_decode_frame 方法之前）

static int copyAVFrameToPixelBuffer(FFPlayer *ffp, AVCodecContext* avctx, const AVFrame* frame, CVPixelBufferRef cv_img, const size_t* plane_strides, const size_t* plane_rows)
{
    int i, j;
    size_t plane_count;
    int status;
    size_t rows;
    unsigned long src_stride;
    unsigned long dst_stride;
    uint8_t *src_addr;
    uint8_t *dst_addr;
    size_t copy_bytes;

    status = CVPixelBufferLockBaseAddress(cv_img, 0);
    if (status) {
        av_log(
               avctx,
               AV_LOG_ERROR,
               "Error: Could not lock base address of CVPixelBuffer: %d.\n",
               status
               );
    }

    uint8* src_y = frame->data[0];
    uint8* src_u = frame->data[1];
    uint8* src_v = frame->data[2];
    void* addr = CVPixelBufferGetBaseAddress(cv_img);

    int src_stride_y = frame->linesize[0];
    int src_stride_u = frame->linesize[1];
    int src_stride_v = frame->linesize[2];
    size_t dst_width = CVPixelBufferGetBytesPerRow(cv_img);

    int src_width = frame->width;
    int src_height = frame->height;

    I420ToARGB(src_y, src_stride_y,
               src_u, src_stride_u,
               src_v, src_stride_v,
               addr, dst_width,
               src_width, src_height);

    status = CVPixelBufferUnlockBaseAddress(cv_img, 0);
    if (status) {
        av_log(avctx, AV_LOG_ERROR, "Error: Could not unlock CVPixelBuffer base address: %d.\n", status);
        return AVERROR_EXTERNAL;
    }

    return 0;
}

int createCVPixelBuffer(FFPlayer *ffp, AVCodecContext* avctx, AVFrame* frame, CVPixelBufferRef* cvImage)
{
    size_t widths [AV_NUM_DATA_POINTERS];
    size_t heights[AV_NUM_DATA_POINTERS];
    size_t strides[AV_NUM_DATA_POINTERS];
    int status;

    memset(widths,  0, sizeof(widths));
    memset(heights, 0, sizeof(heights));
    memset(strides, 0, sizeof(strides));

    widths[0] = avctx->width;
    heights[0] = avctx->height;
    strides[0] = frame ? frame->linesize[0] : avctx->width;

    widths[1] = (avctx->width + 1)/2;
    heights[1] = (avctx->height + 1)/2;
    strides[1] = frame? frame->linesize[1] : (avctx ->width + 1)/2;

    widths[2] = (avctx->width + 1)/2;
    heights[2] = (avctx->height + 1)/2;
    strides[2] = frame? frame->linesize[2] : (avctx ->width + 1)/2;

    if (!ffp->szt_pixelbuffer)
    {
        status = CVPixelBufferCreate(
                                     kCFAllocatorDefault,
                                     frame->width,
                                     frame->height,
                                     kCVPixelFormatType_32BGRA,
                                     NULL,
                                     cvImage
                                     );
        if (status)
        {
            return AVERROR_EXTERNAL;
        }
    }

    status = copyAVFrameToPixelBuffer(ffp, avctx, frame, *cvImage, strides, heights);
    if (status)
    {
        CFRelease(*cvImage);
        *cvImage = NULL;
        return status;
    }

    return 0;
}

四、硬解设置

1、进入到IJKVideoToolBoxAsync.m和IJKVideoToolBoxSync.h

1-1、查找函数

void VTDecoderCallback(void *decompressionOutputRefCon,
                       void *sourceFrameRefCon,
                       OSStatus status,
                       VTDecodeInfoFlags infoFlags,
                       CVImageBufferRef imageBuffer,
                       CMTime presentationTimeStamp,
                       CMTime presentationDuration)
{

替换

        OSType format_type = CVPixelBufferGetPixelFormatType(imageBuffer);
        if (format_type != kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange) {
            ALOGI("format_type error \n");
            goto failed;
        }

把kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange替换成kCVPixelFormatType_32BGRA

1-2、查找函数

static VTDecompressionSessionRef vtbsession_create(Ijk_VideoToolBox_Opaque* context)

替换

CFDictionarySetSInt32(destinationPixelBufferAttributes,
                          kCVPixelBufferPixelFormatTypeKey, kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange);

把kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange替换成kCVPixelFormatType_32BGRA

2、进入到ff_ffplay.c

查找函数

static int queue_picture(FFPlayer *ffp, AVFrame *src_frame, double pts, double duration, int64_t pos, int serial)

image

// 需要添加头文件
#include "ijksdl_vout_overlay_videotoolbox.h"

添加这段代码:  (可以查找SDL_VoutUnlockYUVOverlay(vp->bmp);)
          if (ffp -> videotoolbox) {
            // TODO edit
            ffp_pixelbuffer_lock(ffp);
            ffp->szt_pixelbuffer = SDL_VoutOverlayVideoToolBox_GetCVPixelBufferRef(vp->bmp);  // picture->opaque;
            ffp_pixelbuffer_unlock(ffp);

            if (!ffp->szt_pixelbuffer) {
                ALOGE("nil pixelBuffer in overlay\n");
            }
        }

3、屏蔽SDLView获取纹理渲染的接口

进入到ff_ffplay.c, 查找函数

static void video_image_display2(FFPlayer *ffp)

注释掉以下代码

// SDL_VoutDisplayYUVOverlay(ffp->vout, vp->bmp);

image

4、添加参数设置

4-1、进入ff_ffplay_def.h
在FFPlayer数据结构中添加

int vtb_frame_width_default;

image

查找：ffp->vtb_max_frame_width            = 0; 
在这个后面添加
ffp->vtb_frame_width_default        = 0;

image

4-2、进入ff_ffplay_options.h

查找"videotoolbox-max-frame-width"
在这个后面添加
{ "video-max-frame-width-default",      "max width of output frame default",
        OPTION_OFFSET(vtb_frame_width_default), OPTION_INT(0, 0, INT_MAX) },

image

4-3、进入IJKOptions.m
在+ (IJKFFOptions *)optionsByDefault{}内添加:

[options setPlayerOptionIntValue:1      forKey:@"video-max-frame-width-default"];

image

5、进入到IJKVideoToolBoxAsync.m和IJKVideoToolBoxSync.h

查找

static VTDecompressionSessionRef vtbsession_create(Ijk_VideoToolBox_Opaque* context)

将代码
if (ffp->vtb_max_frame_width > 0 && width > ffp->vtb_max_frame_width) {
        double w_scaler = (float)ffp->vtb_max_frame_width / width;
        width = ffp->vtb_max_frame_width;
        height = height * w_scaler;
    }
替换为
if (ffp->vtb_frame_width_default > 0 && ffp->vtb_max_frame_width > 0 && width > ffp->vtb_max_frame_width) {
        double w_scaler = (float)ffp->vtb_max_frame_width / width;
        width = ffp->vtb_max_frame_width;
        height = height * w_scaler;
    }

五、优化点

我使用文中提供的方法硬解播放一切正常，但是使用软解播放的时候偶现卡顿现象，所以我就没使用文中的软件方案，而是在硬解的地方去掉了if (ffp -> videotoolbox)这个判断语句，软硬解都会执行到这里来的，而且我返回的数据是void *类型（使用的时候会转换成SDL_VoutOverlay类型），因为我这边需求只是为了提高刷新率，所以就起一个线程单独刷新数据，不在局限于以前的默认帧率（一般25帧）。数据也没有转换直接赋值ffp->szt_pixelbuffer = vp->bmp;,因为我就是需要SDL_VoutOverlay这样的数据，这样做起来更省事。
如果需要使用CVPixelBufferRef类型，同样可以软硬解都在static int queue_picture(FFPlayer *ffp, AVFrame *src_frame, double pts, double duration, int64_t pos, int serial)函数内拿到szt_pixelbuffer以后再根据软硬解做不同的处理，硬解就使用SDL_VoutOverlayVideoToolBox_GetCVPixelBufferRef(vp->bmp),软解就使用原文作者提到的转换方案（static int copyAVFrameToPixelBuffer(FFPlayer *ffp, AVCodecContext* avctx, const AVFrame* frame, CVPixelBufferRef cv_img, const size_t* plane_strides, const size_t* plane_rows)和int createCVPixelBuffer(FFPlayer *ffp, AVCodecContext* avctx, AVFrame* frame, CVPixelBufferRef* cvImage)）这两个方法。这样就不会出现软解卡顿的现象了。
如果最终使用的数据类型也是SDL_VoutOverlay类型，在硬解里边颜色空间就不用做修改了，即kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange不需要替换成kCVPixelFormatType_32BGRA了。

IJKPlayer外部获取纹理

一、添加接口

1、在IJKMediaPlayBack.h添加三个方法

2、在ff_ffplay_def.h 的 FFPlayer 数据结构中添加如下:

3、在ijkplayer.h中添加：

4、在ijkplayer.c添加:

5、在ff_ffplay.h添加:

6、在ff_ffplay.c添加:

7、在IJKFFMoviePlayerController.h添加:

8、在IJKFFMoviePlayerController.m添加:

二、如何使用：

三、软解设置

1、添加yuvlib库

2、进入到ff_ffplay.c

四、硬解设置

1、进入到IJKVideoToolBoxAsync.m和IJKVideoToolBoxSync.h

2、进入到ff_ffplay.c

3、屏蔽SDLView获取纹理渲染的接口

4、添加参数设置

5、进入到IJKVideoToolBoxAsync.m和IJKVideoToolBoxSync.h

五、优化点

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

音视频