反色实现过程
一、 实现过程
1、 获取硬件设备实时返回的图片
- 通过获取的图片转换成视频显示。
- 视频帧率硬件返回是25帧 硬件的分辩率为 192 * 256 默认的。通过返回拿到每一帧YUV图片数据 然后转换成为RGBA 格式的图片。
重点，需要理解YUV和RGBA的区别，才能正确转换。
（1）yuv是一种图片储存格式，跟RGB格式类似。yuv中，y表示亮度，单独只有y数据就可以形成一张图片，只不过这张图片是灰色的。u和v表示色差(u和v也被称为：Cb－蓝色差，Cr－红色差)，
- 为什么要yuv？
有一定历史原因，最早的电视信号，为了兼容黑白电视，采用的就是yuv格式。
一张yuv的图像，去掉uv，只保留y，这张图片就是黑白的。
而且yuv可以通过抛弃色差来进行带宽优化。
比如yuv420格式图像相比RGB来说，要节省一半的字节大小，抛弃相邻的色差对于人眼来说，差别不大。
一张yuv格式的图像，占用字节数为 (width * height + (width * height) / 4 + (width * height) /4) = (width * height) * 3 / 2
一张RGB格式的图像，占用字节数为（width * height） * 3
有兴趣 可以了解一下 YU V存储方式和格式、采样方式、数据量计算、YUV裁剪
- RGB 三个字⺟分别代表了 红（Red）、绿（Green）、蓝（Blue），这三种颜⾊称为 三原⾊，将它们以不同的⽐例相加，可以产⽣多种多样的颜⾊。
⼀张1280 * 720 ⼤⼩的图⽚，就代表着它有1280 * 720 个像素点。其中每⼀个像素点的颜⾊显示都采⽤RGB 编码⽅法，将RGB 分别取不同的值，就会展示不同的颜⾊。
RGB 转YUV
RGB 到YUV 的转换，就是将图像所有像素点的R、G、B 分量转换到Y、U、V 分量。
Y = 0.299 * R + 0.587 * G + 0.114 * B
U = -0.147 * R - 0.289 * G + 0.436 * B
V = 0.615 * R - 0.515 * G - 0.100 * B
R = Y + 1.14 * V
G = Y - 0.39 * U - 0.58 * V
B = Y + 2.03 * U
1、常规转换标准：
image.png
2、BT.601 标准：（SD TV）
image.png
3、BT.709 标准：（HD TV）
image.png
YUV转RGB
转换有几个标准
1、常规转换标准：
image.png
2、BT.601 标准：（SD TV）
image.png
3、BT.709 标准：（HD TV）
image.png
2、通过转换成RGBA后 的同时 根据条件 改变指定的像素色值。得到RGBA相应的图片数据，在渲染显示出来。
实时录制技术处理
- 说一下过程
1、拿到每一帧图片数据后，需要转换成视频流数据
- (CVPixelBufferRef)pixelBufferFromCGImage:(CGImageRef)image size:(CGSize)size {
NSDictionary *options = [NSDictionary dictionaryWithObjectsAndKeys:
[NSNumber numberWithBool:YES],kCVPixelBufferCGImageCompatibilityKey,
[NSNumber numberWithBool:YES],kCVPixelBufferCGBitmapContextCompatibilityKey,nil];
CVPixelBufferRef pxbuffer = NULL;
CVReturn status = CVPixelBufferCreate(kCFAllocatorDefault,size.width,size.height,kCVPixelFormatType_32ARGB,(__bridge CFDictionaryRef) options,&pxbuffer);
NSParameterAssert(status == kCVReturnSuccess && pxbuffer != NULL);
CVPixelBufferLockBaseAddress(pxbuffer,0);
void *pxdata = CVPixelBufferGetBaseAddress(pxbuffer);
NSParameterAssert(pxdata !=NULL);
CGColorSpaceRef rgbColorSpace=CGColorSpaceCreateDeviceRGB();
// 当你调用这个函数的时候，Quartz创建一个位图绘制环境，也就是位图上下文。当你向上下文中绘制信息时，Quartz把你要绘制的信息作为位图数据绘制到指定的内存块。一个新的位图上下文的像素格式由三个参数决定：每个组件的位数，颜色空间，alpha选项
CGContextRef context = CGBitmapContextCreate(pxdata,size.width,size.height,8,4*size.width,rgbColorSpace,kCGImageAlphaPremultipliedFirst);
NSParameterAssert(context);
CGContextDrawImage(context,CGRectMake(0,0,CGImageGetWidth(image),CGImageGetHeight(image)), image);
// 释放色彩空间
CGColorSpaceRelease(rgbColorSpace);
// 释放context
CGContextRelease(context);
// 解锁pixel buffer
CVPixelBufferUnlockBaseAddress(pxbuffer,0);
return pxbuffer;
}
2、首先创建好一个视频文件，设置好视频的 分辩率，文件格式、帧率、文件大小
重点：
//mp4的格式设置 编码格式 宽度 高度
NSDictionary *videoSettings = [NSDictionary dictionaryWithObjectsAndKeys:AVVideoCodecTypeH264, AVVideoCodecKey,
[NSNumber numberWithInt:size.width], AVVideoWidthKey,
[NSNumber numberWithInt:size.height], AVVideoHeightKey, nil];
AVAssetWriterInput *writerInput = [AVAssetWriterInput assetWriterInputWithMediaType:AVMediaTypeVideo outputSettings:videoSettings];
NSDictionary *sourcePixelBufferAttributesDictionary = [NSDictionary dictionaryWithObjectsAndKeys:[NSNumber numberWithInt:kCVPixelFormatType_32ARGB],kCVPixelBufferPixelFormatTypeKey,nil];
// AVAssetWriterInputPixelBufferAdaptor提供CVPixelBufferPool实例,
// 可以使用分配像素缓冲区写入输出文件。使用提供的像素为缓冲池分配通常
// 是更有效的比添加像素缓冲区分配使用一个单独的池
AVAssetWriterInputPixelBufferAdaptor *adaptor = [AVAssetWriterInputPixelBufferAdaptor assetWriterInputPixelBufferAdaptorWithAssetWriterInput:writerInput sourcePixelBufferAttributes:sourcePixelBufferAttributesDictionary];
NSParameterAssert(writerInput);
NSParameterAssert([videoWriter canAddInput:writerInput]);
if([videoWriter canAddInput:writerInput]){
NSLog(@"11111");
}else{
NSLog(@"22222");
}
[videoWriter addInput:writerInput];
[videoWriter startWriting];
[videoWriter startSessionAtSourceTime:kCMTimeZero];
2、就是一帧一帧 往视频文件中添加帧数据了
dispatch_queue_t dispatchQueue = dispatch_queue_create("mediaInputQueue", NULL);
int __block frame = 0;
__weak typeof(self)weakSelf = self;
//开始写视频帧
[writerInput requestMediaDataWhenReadyOnQueue:dispatchQueue usingBlock:^{
while ([writerInput isReadyForMoreMediaData]) {
if (_end) { //结束标记
[writerInput markAsFinished];
if (videoWriter.status == AVAssetWriterStatusWriting) {
NSCondition *cond = [[NSCondition alloc]init];
[videoWriter finishWritingWithCompletionHandler:^{
[cond lock];
[cond signal];
[cond unlock];
}];
[cond wait];
[cond unlock];
if (weakSelf.videoUrl) {
weakSelf.videoUrl(weakSelf.theVideoPath);
}//保存视频方法
}
break;
}
dispatch_semaphore_wait(_seam, DISPATCH_TIME_FOREVER);
if (_imageBuffer) {
//写入视频帧数据
if (![adaptor appendPixelBuffer:_imageBuffer withPresentationTime:CMTimeMake(frame, 25)]) {
NSLog(@"success视频数据写入失败");
}else{
NSLog(@"success视频数据写入成功");
frame++;
}
NSLog(@"--------->写入数据");
//释放buffer
CVPixelBufferRelease(_imageBuffer);
CVPixelBufferRelease(_imgBuffer);
_imgBuffer = NULL;
_imageBuffer = NULL;
}
}
}];
写放帧数据 必须保证一帧一帧 写入视频文件中去，所以我这里使用了加锁 和信号量来进行控制
最重要的是 分辩率 和 码率 的设置。必须要设置合适大小 不然对视频效果有很大影响
音视频直播 主要就是以下几个步骤
image.png
音频
音频处理我们首要需要知道的参数：
1、音调：泛指声音的频率信息，人耳的主观感受为声音的低沉（低音）或者尖锐（高音）。
2、响度：声音的强弱
3、采样率：声音信息在由模拟信号转化为数字信号过程中的精确程度，采样率越高，声音信息保留的越多。
4、采样精度：声音信息在由模拟信号转化为数字信号过程中，表示每一个采样点所需要的字节数，一般为16bit（双字节）表示一个采样点。
5、声道数：相关的几路声音数量，常见的如单声道、双声道、5.1声道
6、音频帧长：音频处理或者压缩所操作的一段音频信息，常见的是10ms，20ms，30ms。
音频常见的几个问题处理
1、噪声抑制：手机等设备采集的原始声音往往包含了背景噪声，影响听众的主观体验，降低音频压缩效率，可以适当解决这样的问题。
2、回声消除：在视频或者音频通话过程中，本地的声音传输到对端播放之后，声音会被对端的麦克风采集，混合着对端人声一起传输到本地播放，这样本地播放的声音包含了本地原来采集的声音，造成主观感觉听到了自己的回声。
3、自动增益控制：手机等设备采集的音频数据往往有时候响度偏高，有时候响度偏低，造成声音忽大忽小，影响听众的主观感受。自动增益控制算法根据预先配置的参数对输入声音进行正向/负向调节，使得输出的声音适宜人耳的主观感受。
4:静音检测：静音检测的基本原理：计算音频的功率谱密度，如果功率谱密度小于阈值则认为是静音，否则认为是声音。静音检测广泛应用于音频编码、AGC、AECM等。
5:舒适噪声产生：舒适噪声产生的基本原理：根据噪声的功率谱密度，人为构造噪声。广泛适用于音频编解码器。在编码端计算静音时的白噪声功率谱密度，将静音时段和功率谱密度信息编码。在解码端，根据时间信息和功率谱密度信息，重建随机白噪声。
它的应用场景：完全静音时，为了创造舒适的通话体验，在音频后处理阶段添加随机白噪声。
网友评论