像一些安防产品，都是通过设备采集到音视频数据，然后通过p2p方式发送到手机端，手机端需要播放发送过来的每一帧音视频。我们来讨论下，如何修改ijkPlayer，让它支持按帧播放视频。
iOS的ijkPlayer只提供通过url方式播放。这里修改的总体思路是通过AVIO的方式，修改源码打开url的接口avformat_open_input。具体修改如下：
一、底层修改
ff_ffplay.c大概3144行
if(ffp->useMemPlay){
//通过IO方式播放
unsigned char *aviobuffer=(unsigned char *)av_malloc(VIDEO_BUFFER_SIZE);
avio =avio_alloc_context(aviobuffer, VIDEO_BUFFER_SIZE,0,NULL,&read_buffer,NULL,NULL);
ic->pb = avio;
ic->flags |= AVFMT_FLAG_CUSTOM_IO;
err = avformat_open_input(&ic, 0, 0, &ffp->format_opts);
}else{
//通过url方式播放
err = avformat_open_input(&ic, is->filename, is->iformat, &ffp->format_opts);
}
ffp->useMemPlay是我加的一个变量，来控制是通过IO方式，还是url方式播放。
read_buffer回调函数，通过这个函数要数据：
static int read_buffer(void *opaque, uint8_t *buf, int buf_size){
return my_read_packet_func(tmpOpaque,buf,buf_size);
}
我这里把要数据的回调执行了OC层，中间进行了一些传递。理解思路的话，下面代码不是重点：
#define VIDEO_BUFFER_SIZE 40960
typedef int (*read_packet_func)(void *opaque, uint8_t *buf, int buf_size);
read_packet_func my_read_packet_func = NULL;
void *tmpOpaque = NULL;
//设置回调函数
void ffp_global_set_readFromMem(void *sopaque, int (*read_packet)(void *opaque, uint8_t *buf, int buf_size))
{
tmpOpaque = sopaque;
my_read_packet_func = read_packet;
}
ff_ffplay.h
//定义设置回调函数
void ffp_global_set_readFromMem(void *sopaque, int (*read_packet)(void *opaque, uint8_t *buf, int buf_size));
中间层传递的部分：
ijkplayer.h
//by alex 从内存获取数据的回调
void ijkmp_global_set_readFromMem(IjkMediaPlayer *mp, void *opaque, int (*read_packet)(void *opaque,uint8_t *buf, int buf_size));
ijkplayer.h
//by alex 从内存获取数据的回调
void ijkmp_global_set_readFromMem(IjkMediaPlayer *mp, void *opaque, int (*read_packet)(void *opaque,uint8_t *buf, int buf_size))
{
mp->ffplayer->useMemPlay = 1;
ffp_global_set_readFromMem(opaque,read_packet);
}
二、OC层修改
IJKFFMoviePlayerController.h
//传入annex-b格式的视频帧数据
- (void)inputFrameData:(NSData *)data;
IJKFFMoviePlayerController.m
//在prepareToPlay加入
ijkmp_global_set_readFromMem(_mediaPlayer,(__bridge void *)self,read_buffer);
//消费者与生产者函数
//by alex
static int read_buffer(void *opaque, uint8_t *buf, int buf_size){
if(opaque==NULL){
printf("read error\n");
return -1;
}
IJKFFMoviePlayerController *opt = (__bridge IJKFFMoviePlayerController *)opaque;
return [opt getVideoData:buf length:buf_size];
}
//by alex
- (void)inputFrameData:(NSData *)data{
if(data.length>0){
[_condition lock];
[self.mulFrameData appendData:data];
[_condition signal];
[_condition unlock];
}
// NSLog(@"[cloudVideoMux]input data=%zi",data.length);
}
- (int)getVideoData:(void *)buffer length:(int)length{
int rtn = 0;
[_condition lock];
int size = (int)[self.mulFrameData length];
if(size<=0){
[_condition wait];
}
size = (int)[self.mulFrameData length];
if (size >= length) {
[self.mulFrameData getBytes:buffer length:length];
[self.mulFrameData replaceBytesInRange:NSMakeRange(0, length) withBytes:nil length:0];
rtn = length;
}else{
[self.mulFrameData getBytes:buffer length:size];
[self.mulFrameData setLength:0];
rtn = size;
}
NSLog(@"[cloudVideoMux]get size=%d len=%d",rtn,length);
[_condition unlock];
return rtn;
}
整体思路如上面所示。部分变量可能未写出来。需要注意的地方，消费者和生产者部分得使用条件锁的方式。如果getVideoData返回0了，可能后面av_read_frame读到的都是end_of_file了，播放会停止。
通过上面的修改。基本可以实现播放。但是还是会有不少问题：
1、硬解不支持动态分辨率
2、硬解不支持H265格式
后面再讨论如何解决。
demo:
https://github.com/wulang150/ijkP2PDemo
因为我是直接在ijkplayer那个demo上修改调试，所以不可能上传它的全部代码。我只是上传了需修改的文件。上面不是一个完整的可运行的demo。
VideoLiveTestVC：是读取裸流H264文件，并读取为一帧帧的数据。我使用这个来调试
网友评论