前一些时间，我在知识星球上创建了一个音视频技术社群：关键帧的音视频开发圈，不少朋友加入并在里面咨询一些音视频相关的技术问题，其中不乏一些开发中普遍遇到的问题，这里我会挑一些放出来供大家参考。
如果你也有音视频技术问题想咨询，或者符合下面的情况：
- 在校大学生 → 学习音视频开发
- iOS/Android 客户端开发 → 转入音视频领域
- 直播/短视频业务开发 → 深入音视频底层 SDK 开发
- 音视频 SDK 开发 → 提升技能，解决优化瓶颈
不妨看看《是的，我建了一个进阶百万年薪的社群》了解一下这个社群，根据自己的需要，按需加入。
今天我们要讨论的问题是一位社群的朋友遇到的一个面试题，原文如下：
之前遇到一个面试题，有一个线程在采集摄像头数据放到 buffer，然后在主线程显示。如果这时候需要添加一个滤镜，是否需要新开一个 buffer 和线程，是否会有线程安全问题，该怎么解决？
以下是回答，欢迎大家留言讨论补充：
从题目的意思来看，原来的流水线是：线程 1：采集 → buffer → 主线程：渲染，现在想在渲染之前加一个特效节点。
OpenGL.jpeg
1）不新开 buffer 也不新开线程时，对应的流水线变为：线程 1：采集 → buffer → 主线程：滤镜 → 主线程：渲染。当滤镜渲染不复杂，耗时不多时，这种方案是可以搞的，因为滤镜主要涉及到 OpenGL 相关的操作，只要保证滤镜的 OpenGL 操作与渲染的 OpenGL 操作在同一个 EAGLContext 环境内即可。可以参考下图 OpenGL 操作缓冲区 FBO、着色器与 EAGLContext 的关系。2）新开 buffer 同时新开线程时，对应的流水线变为：线程 1：采集 → buffer 1 → 线程 2：滤镜 → buffer 2 → 主线程：渲染。这种方案当然是更好的方案，它使得各个模块可以并行，而且性能兼容性更好。因为在实际需求中，我们采集后的图像数据处理，除了滤镜，可能会增加人脸识别、磨皮、美白、特效等更复杂功能，这时候处理耗时就可能较长了，放在主线程可能卡住主线程，更可能会影响到渲染的帧率。此外，我们采集的图像数据除了预览渲染，一般是需要编码封装后存储本地或推流上传网络的，编码模块的速度与特效处理的速度不匹配时，这就需要增加 buffer 了。
这样一来整个流程就相当于两个生产者消费者模型了，而每个 buffer 就是对应的生产者和消费者线程的临界区。保证线程安全其实就是确保生产者线程和消费者线程对 buffer 数据的互斥访问，这里使用信号量即可。在 iOS 中可以用 dispatch_semaphore_t。
网友评论