美文网首页Android开发精选
FFMPEG+SDL播放器开发入门-解封装和视频显示

FFMPEG+SDL播放器开发入门-解封装和视频显示

作者: C_GO流媒体后台开发 | 来源:发表于2018-10-13 14:12 被阅读32次

    背景

    开发环境搭建请参考FFMPEG入门系列01-QT+FFMPEG4.0 Windows开发环境搭建
    本章内容讲解基于FFMPEG4.0.2 + SDL2.0

    概述

    媒体文件通常有一些基本的组成部分。你在学习源码之前需要了解以下的概念:

    • 容器(container),文件本身被称为容器,容器的的类型定义了文件的信息是如何存储,比如,AVI、FLV、MP4等容器格式。当我们从容器读取媒体数据的时候称为解复用器(demuxer),当我们把媒体数据写入容器的时候称为复用器(muxer).
    • 流(stream),每个音视频媒体通常会有一路音频流和一路视频流。这些流需要根据容器规定的格式存储到媒体文件当中。
    • 帧(frame),流中的数据元素被称为帧,但对于FFMPEG而言,一般压缩的数据成为数据包(packet),经过解码器解码后的数据再成为帧(frame)
    • 编/解码器(codec),每路流都会被相应的「编/解码器(codec)」进行编码或解码。codec 定义了实际数据是如何被编解码的,比如你用到的MP4文件的音视频流数据可能是 H264 和 MP3编码器进行编码的。
    • 数据包(packets),是从流中读取的数据片段,这些数据片段中包含的一个个比特经过解码后可以得到的图像帧(画面)或者PCM帧(声音)。通常情况下,每个数据包含完整的一帧多媒体(音频/视频/字幕等等)数据,但要注意在音频情况下,一个数据包中可能会包含多个音频帧
    供参考的播放器框架图 播放器框架图

    基于以上这些基础,处理视频流和音频流的过程其实很简单:

    1. 根据容器类型找到合适的解复用器(demuxer)
      对应函数:avformat_open_input
    2. 使用解复用器(demuxer)读取多媒体数据,分析媒体文件的信息,比如有几路音频流,几路视频流,它们是什么样的编码格式。音频帧的信息:包括采样率、采样格式、通道数等;视频帧的信息:包括分辨率、图像格式、帧率等等。对应函数:
      • avformat_find_stream_info
      • av_find_best_stream
    3. 查找码流对应的解码器,如果能够找到则打开相应的解码器,对应函数:
      • avcodec_alloc_context3
      • avcodec_parameters_to_context
      • avcodec_find_decoder
      • avcodec_open2
    4. 不断地读取音视频数据包,对应函数:
      • av_read_frame
    5. 将数据包送给解码器,并读取解码后的数据帧,对应函数:
      • avcodec_send_packet
      • avcodec_receive_frame
    6. 将获取的视频帧进行画面显示,音频帧进行声音输出。
    7. 不断循环 4,5,6三个步骤,直到数据读取完毕。

    参考

    MFC中如何利用ffmpeg和SDL2.0多线程多窗口播放摄像头的视频https://blog.csdn.net/marising/article/details/52145316?utm_source=blogxgwz5

    相关文章

      网友评论

        本文标题:FFMPEG+SDL播放器开发入门-解封装和视频显示

        本文链接:https://www.haomeiwen.com/subject/vbqoaftx.html