一.背景说明
用户反映，某课程MP3文件在安卓机上可以播放，苹果机上不能播放。
二.测试分析
拿到该MP3文件的链接，测试如下：
不能播放：safari浏览器，微信浏览器，iOS AVPlayer
可以播放：谷歌浏览器，ffplay，VLC
下载并查看该文件的格式，发现实际上不是MP3格式而是MP4格式，修改文件后缀名为MP4后，使用AVPlayer可正常播放。
那么问题来了，当文件后缀名错误的时候，为什么有些播放器可以正确播放呢？
初步猜测是：
这些播放器不仅仅使用音视频文件的后缀名去判断格式，而是探测到了音视频文件的真正格式，使用了正确的格式去解析。
ffplay是基于ffmpeg的播放器。通过阅读ffmpeg的源码可以了解它的音视频格式探测逻辑。
三.avformat_open_input函数
avformat_open_input:此函数是打开媒体文件，初始化AVFormatContext结构体的关键函数。filename此处传入的是mp3文件的本地路径。
/*
ps：AVFormatContext结构体的二级指针
filename:文件名，/var/containers/Bundle/Application/A5CD4766-08A9-4A3D-AC75-0FC4B3B7EF13/IJKMediaDemo.app/input.mp3
fmt：AVInputFormat，如果外部传了，就不会去探测实际格式。此处为NULL。
options：字典，此处可忽略。
*/
int avformat_open_input(AVFormatContext **ps, const char *filename,
AVInputFormat *fmt, AVDictionary **options)
四.init_input函数
init_input是avformat_open_input内部函数，是探测音视频格式的关键函数。
/*
ps：AVFormatContext结构体的二级指针
filename:文件名，/var/containers/Bundle/Application/A5CD4766-08A9-4A3D-AC75-0FC4B3B7EF13/IJKMediaDemo.app/input.mp3
options：字典，此处可忽略。
*/
static int init_input(AVFormatContext *s, const char *filename,
AVDictionary **options)
当执行完此函数后，可以看到
AVFormatContext结构体中iformat（AVInputFormat结构体）已经准确识别到了文件的实际格式:
1588925437675.jpg
五.FFmpeg的音视频探测逻辑
分析init_input的内部逻辑，使用输入文件的结构体AVProbeData依次匹配ffmpeg中链表结构的AVInputFormat，从以下三个维度进行匹配打分，并返回得分最高的AVInputFormat（低于25分则探测失败）。
匹配过程
1.扩展名匹配：不需要读取文件。使用av_match_ext函数比较输入媒体的扩展名和AVInputFormat的扩展名，匹配成功则为50分。
AVPROBE_SCORE_EXTENSION 50 ///< score for file extension
2.资源的媒体类型匹配:不需要读取文件。使用av_match_name函数比较输入媒体的mime_type和AVInputFormat的mime_type，匹配成功则为75分。
AVPROBE_SCORE_MIME 75 ///< score for file mime type
3.读取文件头部数据进行格式匹配：使用read_probe函数解析文件头部数据，一般解析成功则为100分（最高得分）。
AVPROBE_SCORE_MAX 100 ///< maximum score
此mp3文件在read_probe流程中，在mov.c文件的mov_probe函数中匹配格式成功，返回100分。并将此AVInputFormat赋值给AVFormatContext结构体的iformat。完成探测工作。
mp4格式的探测逻辑如下：可以看到利用了MP4结构的box进行解析。
static int mov_probe(AVProbeData *p)
{
int64_t offset;
uint32_t tag;
int score = 0;
int moov_offset = -1;
/* check file header */
offset = 0;
for (;;) {
/* ignore invalid offset */
if ((offset + 8) > (unsigned int)p->buf_size)
break;
tag = AV_RL32(p->buf + offset + 4);
switch(tag) {
/* check for obvious tags */
case MKTAG('m','o','o','v'):
moov_offset = offset + 4;
case MKTAG('m','d','a','t'):
case MKTAG('p','n','o','t'): /* detect movs with preview pics like ew.mov and april.mov */
case MKTAG('u','d','t','a'): /* Packet Video PVAuthor adds this and a lot of more junk */
case MKTAG('f','t','y','p'):
if (AV_RB32(p->buf+offset) < 8 &&
(AV_RB32(p->buf+offset) != 1 ||
offset + 12 > (unsigned int)p->buf_size ||
AV_RB64(p->buf+offset + 8) == 0)) {
score = FFMAX(score, AVPROBE_SCORE_EXTENSION);
} else if (tag == MKTAG('f','t','y','p') &&
( AV_RL32(p->buf + offset + 8) == MKTAG('j','p','2',' ')
|| AV_RL32(p->buf + offset + 8) == MKTAG('j','p','x',' ')
)) {
score = FFMAX(score, 5);
} else {
score = AVPROBE_SCORE_MAX;
}
offset = FFMAX(4, AV_RB32(p->buf+offset)) + offset;
break;
/* those are more common words, so rate then a bit less */
case MKTAG('e','d','i','w'): /* xdcam files have reverted first tags */
case MKTAG('w','i','d','e'):
case MKTAG('f','r','e','e'):
case MKTAG('j','u','n','k'):
case MKTAG('p','i','c','t'):
score = FFMAX(score, AVPROBE_SCORE_MAX - 5);
offset = FFMAX(4, AV_RB32(p->buf+offset)) + offset;
break;
case MKTAG(0x82,0x82,0x7f,0x7d):
case MKTAG('s','k','i','p'):
case MKTAG('u','u','i','d'):
case MKTAG('p','r','f','l'):
/* if we only find those cause probedata is too small at least rate them */
score = FFMAX(score, AVPROBE_SCORE_EXTENSION);
offset = FFMAX(4, AV_RB32(p->buf+offset)) + offset;
break;
default:
offset = FFMAX(4, AV_RB32(p->buf+offset)) + offset;
}
}
if(score > AVPROBE_SCORE_MAX - 50 && moov_offset != -1) {
/* moov atom in the header - we should make sure that this is not a
* MOV-packed MPEG-PS */
offset = moov_offset;
while(offset < (p->buf_size - 16)){ /* Sufficient space */
/* We found an actual hdlr atom */
if(AV_RL32(p->buf + offset ) == MKTAG('h','d','l','r') &&
AV_RL32(p->buf + offset + 8) == MKTAG('m','h','l','r') &&
AV_RL32(p->buf + offset + 12) == MKTAG('M','P','E','G')){
av_log(NULL, AV_LOG_WARNING, "Found media data tag MPEG indicating this is a MOV-packed MPEG-PS.\n");
/* We found a media handler reference atom describing an
* MPEG-PS-in-MOV, return a
* low score to force expanding the probe window until
* mpegps_probe finds what it needs */
return 5;
}else
/* Keep looking */
offset+=2;
}
}
return score;
}
六.思考
一般来说，后台会将不同格式的音视频转码成固定格式，比如mp4,aac等。在这种情况下，前端播放器直接指定AVInputFormat效率会更高：
is->iformat = av_find_input_format("mp4");
err = avformat_open_input(&ic, is->filename, is->iformat, &ffp->format_opts);
av_find_input_format的内部实现，用fmt->name来匹配：
AVInputFormat *av_find_input_format(const char *short_name)
{
AVInputFormat *fmt = NULL;
while ((fmt = av_iformat_next(fmt))) //遍历fmt链表
if (av_match_name(short_name, fmt->name))
return fmt;
return NULL;
}
网友评论