美文网首页MobileMedia001
二、FFmpeg的模块结构

二、FFmpeg的模块结构

作者: Mirs | 来源:发表于2019-04-17 11:04 被阅读0次

    [TOC]

    开始前的BB

    我发现 很多都是上来直接撸,撸完了发现其实还是什么都不会,自己知道ffmpeg有什么自带的东西可以参考的也不了解,那还搞个🔨,,脑海中没有大体的认知,很容易就迷失在细节里无法自拔,只知其术不知其道理,紧接着下一个阶段就是找大佬萌新三连


    image

    不要慌

    这篇文章主要就是给大家一个大体的认知,来认识FFmpeg这个框架,由表及里,由浅入深,解开她神秘的面纱

    FFmpeg框架的结构

    祖传ffmpeg结构图镇楼

    FFmpeg结构

    其中 ffplay ffmpeg ffprobe 这三个是ffmpeg里面的能编译为可执行文件的三个功能很强大的东西,这个在我们上面下载的动态库/静态库文件里的

    image
    • ffplay:
      ffplay是一个非常经典的播放器实现,对于做播放器的朋友,写播放器的时候一定要要去参考,像ijkplayer 就是基于ffplay,同步等地方改动的很少,大部分改动都在显示的部分,主要是实现了解码后的yuv数据上传到opengles,以及封装音频播放的接口(AudioTrack)等。

    • ffmpeg:
      ffmpeg这个工具里面包含了很多功能,像轨道提取,视频裁剪,转码、水印、滤镜等功能

    • ffprobe:
      ffprobe是一个查看视频格式信息的工具,包括封装信息、视频信息、音频信息等

    以上三个工具我们下章讲他一些常用的命令。

    底层支撑库简介

    除了这三个工具类外,底层的组成部分有以下几个:

    avutil

    avutil 核心的工具库;其他的模块都会依赖这个库,定义了一些常用的枚举,工具类(加解密、时间、日志,FIFO队列、内存分配、大小端转换等)

    avformat

    avformat 协议与格式库; 这个模块封装了Protocol、Demuxer、Muxer层,是ffmpeg最重要的模块之一,相当于Android中的 MediaExtracotor

    avcodec

    avcodec 编解码库;封装了Codec,该模块内置很多解码器,在自己的注册列表中,一些有自己的License的第三方Codec,比如X264.fdk-aac等都可以通过插件的方式添加进来

    avfilter

    avfilter 音视频滤镜库;提供了很多音频与视频特效处理,可以在编解码过程中直接调用该模块为音视频数据做特效处理,这个处理是利用CPU进行处理的,音频的处理一般都是比较快,影响不是特别的大 视频的处理的,,效率是没有利用OpenGL通过GPU进行处理快

    avdevice

    avdevice 输入输出设备库; 比如,需要编译出播放声音或者视频的ffplay,就需要确保此模块是打开状态,同时也需要SDL库的预编译,这个设备模块的播放声音与播放视频使用的都是SDL库,也包含了其他的输入/输出设备

    swresample

    swresample 音频冲采样模块;可以对数字音频进行声道数、采样率、位宽等多种基本信息的转换,比如将SimpleForamt为AV_SAMPLE_FMT_FLTP转换为AV_SAMPLE_FMT_S16P格式的

    swscale

    swscale 图像数据格式转换模块; 比如可以将YUV数据转换为RGB数据,尺寸从1920 * 1080 缩放为 800 * 480

    postproc

    postproc avfilter的处理会依赖该模块的一些函数

    常用数据结构

    • AVFormatContext 封装格式上下文结构体,保存了视频文件封装格式相关信息
    • AVInputFormat demuxer结构体,每一种封装格式对应一个该结构体(FLV MKV MP4 AVI) AVOutpuFormat 对应muxer
    • AVStream 媒体文件中每个视频/音频流对应一个该结构体
    • AVCodecContext 编解码器上下文结构,保存了饮品是编解码相关的信息
    • AVCodec每个视频/音频编解码器对应一个结构体
    • AVPacket 储存街凤凰后的一帧压缩编码数据
    • AVFrame 储存一阵解码后的像素/采样数据

    常用核心函数

    主要讲 avformatavcodc两个库的比较重要的函数

    avformat

    • avformat_network_init() 注册网络,初始化网络库以及网络加密协议相关的库 (openssl)
    • avformat_alloc_context() 负责申请一个AvFormatContext结构的内存,并进行简单的初始化
    • avforamt_free_context() 释放该结构体里的所有东西,以及他本身
      ,通常与avformat_alloc_context()成对出现
    • avformat_close_input() 关闭解复用器,关闭后就不需要调用avforamt_free_context()进行释放,因为他内部会调用avformat_free_context()方法进行释放
    • avformat_open_input() 打开输入文件
    • avformat_find_stream_info()获取视频文件信息
    • av_read_frame() 读取音视频包AVPacket
    • avformat_seek_file() 通过文件字节进行Seek
    • av_seek_frame() 可以通过相应的格式选择Seek到关键帧还是指定帧以及字节

    解复用的调用流程如下

    image
    1. 分配一个AVFormatContext的上下文
    2. 打开视频文件
    3. 寻找到对应的流信息
    4. 循环读取流/或者在中间seek到指定的位置
    5. 结束读取,关闭流,释放空间

    更详细的代码会在后面的章节中有示例代码

    avcodec

    • avcodec_alloc_context3() 分配解码器的上下文
    • avcodec_find_decoder() 根据Id查找解码器
    • avcodec_find_decoder_by_name() 根据解码器名字查找解码器
    • avcodec_open2() 打开编解码器
    • avcodec_send_packet() 发送解封装后的数据包
    • avcodec_recive_frame() 接受解码后的数据
    • avcodec_free_context() 释放解码器上下文
    • avcodec_close()关闭解码器

    解码器的调用流程如下


    image
    1. 分配一个AVCodecContext
    2. 将AVStream里的Codec的参数传递到AVCodecContext
    3. 根据Id或者名字寻找的相应的解码器
    4. 打开解码器
    5. 发送AVPacket(解封装的数据) ---> 接受到解码后的数据(YUV/PCM)
    6. 关闭解码器,释放AVCodecContext

    关于FFmpeg的核心的结构体与函数,以及相应的解复用/解码的流程先了解这么多,有个大概的印象,我们在后面的文章里,就会慢慢体会到他们带来的无穷快感

    image

    一袋米要抗几楼 (痛みを感じるようにしましょう) 的佩恩警告⚠️ (づ。◕‿‿◕。)づ

    未完持续。。。

    相关文章

      网友评论

        本文标题:二、FFmpeg的模块结构

        本文链接:https://www.haomeiwen.com/subject/unugwqtx.html