前言
如今音视频的知识纷繁复杂，自己学习非常困难，既需要非常扎实的基础知识，又需要有很多的工程经验。
而音视频从业者基本上有两个层面：一个层面是搞音视频算法，这类人非常少，需要有深的数学能力和算法背景，这类人一般都会选择去大公司，薪水百万是最low 的。
另一个层面是搞工程，这类人相对较多，他们有扎实的理论基础，很强的技术功底，对音频、视频都非常熟悉。这些人工资要比一般开发者高20%左右；随着5G时代的到来，不管作为开发者还是用户，现在我们每天都会接触到各种各样的短视频、直播类的App，与之相关的音视频方向的开发也变得越来越重要。现在有大量的公司开始寻找音视频人才，一个稍好点的音视频人才现在可能会有3-4家公司抢着要。因此，对音视频人才的需求也从小众变成了大众，这更多的是大家对未来市场的预期导致的结果。
小众领域的神秘面纱
但是对于大多数Android开发者来说，从事Android音视频相关的开发可能目前还算是个小众领域，虽然可能目前深入这个领域的开发者还不是太多，但这个方向涉及的知识点可一点都不少。
语言
- C/C++：音视频开发经常需要跟底层代码打交道，掌握C/C++是必须的技能。这方面资料很多，相信我们都能找到。
- ARM NEON汇编：这是一项进阶技能，在视频编解码、各种帧处理低下时很多都是利用NEON汇编加速，例如FFmpeg/libyuv底层都大量利用了NEON汇编来加速处理过程。虽说它不是必备技能，但有兴趣也可以多多了解，具体资料可以参考ARM社区的教程。
框架
- FFmpeg：可以说是业界最出名的音视频处理框架了，几乎囊括音视频开发的所有流程，可以说是必备技能。
- libyuv：Google开源的YUV帧处理库，因为摄像头输出、编解码输入输出也是基于YUV格式，所以也经常需要这个库来操作数据（FFmpeg也有提供了这个库里面所有的功能，在libswscale都可以找到类似的实现。不过这个库性能更好，也是基于NEON汇编加速）。
- libx264/libx265：目前业界最为广泛使用的H.264/H.265软编解码库。移动平台上虽然可以使用硬编码，但很多时候出于兼容性或画质的考虑，因为不少低端的Android机器，在低码率的场景下还是软编码的画质会更好，最终可能还是得考虑使用软编解码。
- OpenGL ES：当今，大部分视频特效、美颜算法的处理，最终渲染都是基于GLES来实现的，因此想要深入音视频的开发，GLES是必备的知识。另外，除了GLES以外，Vulkan也是近几年开始发展起来的一个更高性能的图形API，但目前来看，使用还不是特别广泛。
- ExoPlayer/ijkplayer：一个完整的视频类App肯定会涉及视频播放的体验，这两个库可以说是当下业界最为常用的视频播放器了，支持众多格式、协议，如果你想要深入学习视频播放处理，它们几乎也算是必备技能。
打牢基础之后，我们可以循序渐进地增强自己的实际业务能力：
1.在 Android 平台绘制一张图片，使用至少 3 种不同的 API，ImageView，SurfaceView，自定义 View
2.在 Android 平台使用 AudioRecord 和 AudioTrack API 完成音频 PCM 数据的采集和播放，并实现读写音频 wav 文件
3.在 Android 平台使用 Camera API 进行视频的采集，分别使用 SurfaceView、TextureView 来预览 Camera 数据，取到 NV21 的数据回调
4.学习 Android 平台的 MediaExtractor 和 MediaMuxer API，知道如何解析和封装 mp4 文件
5.学习 Android 平台 OpenGL ES API，了解 OpenGL 开发的基本流程，使用 OpenGL 绘制一个三角形
6.学习 Android 平台 OpenGL ES API，学习纹理绘制，能够使用 OpenGL 显示一张图片
7.学习 MediaCodec API，完成音频 AAC 硬编、硬解
8.学习 MediaCodec API，完成视频 H.264 的硬编、硬解
9.串联整个音视频录制流程，完成音视频的采集、编码、封包成 mp4 输出
10.串联整个音视频播放流程，完成 mp4 的解析、音视频的解码、播放和渲染
11.进一步学习 OpenGL，了解如何实现视频的剪裁、旋转、水印、滤镜，并学习 OpenGL 高级特性，如：VBO，VAO，FBO 等等
12.学习 Android 图形图像架构，能够使用 GLSurfaceviw 绘制 Camera 预览画面
13.深入研究音视频相关的网络协议，如 rtmp，hls，以及封包格式，如：flv，mp4
14.深入学习一些音视频领域的开源项目，如 webrtc，ffmpeg，ijkplayer，librtmp 等等
15.将 ffmpeg 库移植到 Android 平台，结合上面积累的经验，编写一款简易的音视频播放器
16.将 x264 库移植到 Android 平台，结合上面积累的经验，完成视频数据 H264 软编功能
17.将 librtmp 库移植到 Android 平台，结合上面积累的经验，完成 Android RTMP 推流功能
18.上面积累的经验，做一款短视频 APP，完成如：断点拍摄、添加水印、本地转码、视频剪辑、视频拼接、MV 特效等功能
如何学习音视频开发
这里给大家推荐一套学习路线，并附有相关《音视频开发核心知识点笔记》，相信可以给大家提供一些帮助，有需要的朋友们也可以下载下来随时查漏补缺。
音视频初级入门
音视频初级入门主要是接触Android多媒体展示相关的API，通过单独的列举和使用这些API，对Android音视频处理有一个基本的轮廓，虽然知识点相对来说是比较散的，但是点成线、线成面，基本的基础掌握了，通过学习Android音视频核心的API将音视频的流程串联起来，这样对于音视频的了解和控制就不仅仅局限于最外层的API了，而是能够通过相对底层的方式来加深对Android 音视频开发的认知。
- Android 音视频开发(一)：通过三种方式绘制图片
- Android 音视频开发(二)：使用 AudioRecord 采集音频PCM并保存到文件
- Android 音视频开发(三)：使用 AudioTrack 播放PCM音频
- Android 音视频开发(四)：使用 Camera API 采集视频数据
- Android 音视频开发(五)：使用 MediaExtractor 和 MediaMuxer API 解析和封装 mp4 文件
- Android 音视频开发(六)：MediaCodec API 详解
- Android 音视频开发(七)：音视频录制流程总结
- ……
由于文章篇幅长多有限，不能一一的展现该学习文档中的所有内容，大家与需要参考学习可以 点击这里查看获取方式 传送门直达！！！**
音视频中级进阶：OpenSL ES 学习
学习 Android 平台 OpenSL ES API，了解 OpenSL 开发的基本流程，使用OpenSL播放PCM数据，并了解相关API的简单使用
- Android OpenSL ES 开发：Android OpenSL 介绍和开发流程说明
- Android OpenSL ES 开发：使用 OpenSL 播放 PCM 数据
- Android OpenSL ES 开发：Android OpenSL 录制 PCM 音频数据
- Android OpenSL ES 开发：OpenSL ES利用SoundTouch实现PCM音频的变速和变调
这一部分主要是动手实践，积累实战经验，可以试试给自己定以下目标：
- 使用 OpenGL 显示一张图片
- GLSurfaceviw 绘制 Camera 预览画面及实现拍照
- 使用OpenGL ES 完成视频的录制，并实现视频水印效果
- Android OpenGL ES 开发（一）: OpenGL ES 介绍
- Android OpenGL ES 开发（二）: OpenGL ES 环境搭建
- Android OpenGL ES 开发（三）: OpenGL ES 定义形状
- Android OpenGL ES 开发（四）: OpenGL ES 绘制形状
- Android OpenGL ES 开发（五）: OpenGL ES 使用投影和相机视图
- Android OpenGL ES 开发（六）: OpenGL ES 添加运动效果
- Android OpenGL ES 开发（七）: OpenGL ES 响应触摸事件
- Android OpenGL ES 开发（八）: OpenGL ES 着色器语言GLSL
- Android OpenGL ES 开发（九）: OpenGL ES 纹理贴图
- Android OpenGL ES 开发（十）: 通过GLES20与着色器交互
- ……
音视频高级探究
- 深入学习音视频编码，如H.264，AAC，研究使用开源编解码库，如x.264，JM 等
- 深入研究音视频相关的网络协议，如 rtmp，hls，以及封包格式，如：flv，mp4
- 深入学习一些音视频领域的开源项目，如 webrtc，ffmpeg，ijkplayer，librtmp 等等
- 将 ffmpeg 库移植到 Android 平台，结合上面积累的经验，编写一款简易的音视频播放器
- 将 x264 库移植到 Android 平台，结合上面积累的经验，完成视频数据 H264 软编功能
- 将 librtmp 库移植到 Android 平台，结合上面积累的经验，完成 Android RTMP 推流功能
音视频编解码技术
- 音视频编解码技术（一）：MPEG-4/H.264 AVC 编解码标准
- 音视频编解码技术（二）：AAC 音频编码技术
- ……
流媒体协议
- 流媒体协议（一）：HLS 协议
- 流媒体协议（二）：RTMP协议
- ……
由于文章篇幅长多有限，不能一一的展现该学习文档中的所有内容，大家与需要参考学习可以去访问我GitHub：https://github.com/733gh/Android-T3
多媒体文件格式
- 多媒体文件格式（一）：MP4 格式
- 多媒体文件格式（二）：FLV 格式
- 多媒体文件格式（三）：M3U8 格式
- 多媒体文件格式（四）：TS 格式
- 多媒体文件格式（五）：PCM / WAV 格式
- ……
FFmpeg 学习
- FFmpeg命令行工具学习(一)：查看媒体文件头信息工具ffprobe
- FFmpeg命令行工具学习(二)：播放媒体文件的工具ffplay
- FFmpeg命令行工具学习(三)：媒体文件转换工具ffmpeg
- FFmpeg命令行工具学习(四)：FFmpeg 采集设备
- FFmpeg命令行工具学习(五)：FFmpeg 调整音视频播放速度
- ……
- FFmpeg 学习(一)：FFmpeg 简介
- FFmpeg 学习(二)：Mac下安装FFmpeg
- FFmpeg 学习(三)：将 FFmpeg 移植到 Android平台
- FFmpeg 学习(四)：FFmpeg API 介绍与通用 API 分析
- FFmpeg 学习(五)：FFmpeg 编解码 API 分析
- FFmpeg 学习(六)：FFmpeg 核心模块 libavformat 与 libavcodec 分析
- ……
- FFmpeg 结构体学习(一)：AVFormatContext 分析
- FFmpeg 结构体学习(二)：AVStream 分析
- FFmpeg 结构体学习(三)：AVPacket 分析
- FFmpeg 结构体学习(四)：AVFrame 分析
- FFmpeg 结构体学习(五)：AVCodec 分析
- FFmpeg 结构体学习(六)：AVCodecContext 分析
- FFmpeg 结构体学习(七)：AVIOContext 分析
- FFmpeg 结构体学习(八)：FFMPEG中重要结构体之间的关系
- ……
- FFmpeg 开发之 AVFilter 使用流程总结
- FFmpeg 过时 Api 汇总整理
- ……
由于文章篇幅长多有限，不能一一的展现该学习文档中的所有内容，大家与需要参考学习可以 点击这里查看获取方式 传送门直达！！！
网友评论