1、 FFmpeg
FFmpeg 是一个开源免费跨平台的视频和音频流方案，属于自由软件，它提供了录制、转换以及流化音视频的完整解决方案。直播系统多使用该方案。
2、 RTMP（Real Time Messaging Protocol：实时消息传输协议）
Adobe公司开发。一个专门为高效传输视频，音频和数据而设计的协议。它通过建立一个二进制TCP连接或者连接HTTP隧道实现实时的视频和声音传输。
3、相同码率，软编图像质量更清晰，但是耗电更高，而且会导致CPU过热烫到摄像头。不过硬编码会涉及到其他平台的解码，有很多坑。综合来说，iOS 端硬件兼容性较好，iOS 8.0占有率也已经很高了，可以直接采用硬编。
4、音频
AudioToolbox这个库是C的接口，偏向于底层，用于在线流媒体音乐的播放。
AAC（Advanced Audio Coding），中文名：高级音频编码，出现于1997年，基于MPEG-2的音频编码技术。由Fraunhofer IIS、杜比实验室、AT&T、Sony等公司共同开发，目的是取代MP3格式。2000年，MPEG-4标准出现后，AAC重新集成了其特性，加入了SBR技术和PS技术，为了区别于传统的MPEG-2 AAC又称为MPEG-4 AAC。
iOS平台支持AAC编码器，主要使用AudioToolbox中的AudioConverter API。之所以做AAC编码器是因为在做一个HLS的功能，HLS要求的TS文件，需要视频采用H264编码，音频采用AAC编码。H264可以使用硬件或软件编码器，前面已经介绍。AAC也可以使用硬件或者软件编码，iOS全都支持。
默认情况下，Apple会创建一个硬件编码器，如果硬件不可用，会创建软件编码器。
经过我的测试，硬件AAC编码器的编码时延很高，需要buffer大约2秒的数据才会开始编码。而软件编码器的编码时延就是正常的，只要喂给1024个样点，就会开始编码。AAC并不是随便的码率都可以支持。比如如果PCM采样率是44100KHz，那么码率可以设置64000bps，如果是16K，可以设置为32000bps。
5、视频
VideoToolbox是iOS8以后开放的视频硬编码与硬解码的API，一组用C语言写的函数。
硬编码的使用可通过一个典型的应用场景来描述。首先，通过摄像头来采集图像，然后将采集到的图像，通过硬编码的方式进行编码，最后编码后的数据将其组合成H264的码流通过网络传播。
6、播放端用的针对RTMP优化过的ijkplayer ，ijkplayer 是基于FFmpeg的跨平台播放器.
7、H264编码
分为两层:
视频编码层（VCL：Video Coding Layer）负责高效的视频内容表示
网络提取层（NAL：Network Abstraction Layer）负责以网络所要求的恰当的方式对数据进行打包和传送(根据不同的网络把数据打包成相应的格式，将VCL产生的比特字符串适配到各种各样的网络和多元环境中)
8、推流和传输: 这块一般都是交给CDN服务商. CDN只提供带宽和服务器之间的传输, 发送端和接收端的网络连接抖动缓存还是要自己实现的.目前国内最大的CDN服务商应该是网宿.传输协议一般是RTMP,HLS,FLV
网友评论