滤镜
一般是由玻璃，树脂和聚碳酸酯等制成的物体，用来处理相机等传感器受到外界环境的影响，或者达到某种视觉效果。对于现在数字时代的图像，我们可以通过算法处理来达到以前镜片的效果
Android平台上的滤镜开发
处理方式
java层：Bitmap像素点和矩阵操作；ColorMatrix等系统api
native层：使用c/c++本地语言，具有更高的性能，可操作java层传入的Bitmap数据
整体处理：即对整个图片处理，矩阵处理，ColorMatrix或者系统api
局部处理：特殊像素点的单个或局部处理
cpu处理：上述处理都是基于cpu的，cpu计算能力强，但核心少，并行差
gpu处理：核心多，并行强。Android系统上可使用opengl es来调用gpu加速，并行处理图像
-
对于opengl，我们可以查阅相关资料，能做的事情，并不限于滤镜。
他的核心工作方式，是几乎可以并行的处理图像像素点，而cpu一般只能串行的处理像素点 -
gpu处理，性能更好，更快。对于一张静态图像上，进行简单的滤镜处理，cpu方式还是可以胜任的。但对于相机滤镜和视频动态滤镜时，cpu可能出现明显的卡顿现象，这时就需要进行gpu滤镜处理，且能以胜任
-
对与cpu的各种处理方式，我们通过Bitmap或者系统api，来进行各种滤镜算法的实现相对于gpu方式要简单一些，一般重点采用gpu的处理方式
-
对于各种应用特效的实现方案，通常是，像素判断，整体像素判断处理，mask辅助图，各种图像处理学算法，颜色空间转换等
-
滤镜处理图像的方式和思想在移动平台上有很多应用，比如图片滤镜，美颜美妆相机，动态贴纸， 视频特效等
相机数据的处理方式
-
YUV 不转换，直接由OpenGL绘制，采用Shader实现图像处理（因处理算法和渲染图片大部分
采用RGB格式，此方案暂不考虑，仅提出可能性） -
通过C/C++实现YUV->RGB和图像处理，合成Bitmap，由CPU绘制在Canvas上
-
通过C/C++实现YUV->RGB和图像处理，在NDK层直接绘制在SurfaceView上
-
通过C/C++实现YUV->RGB，采用Shader实现图像处理，采用OpenGL绘制（android-gpuimage）
-
通过Shader实现YUV->RGB和图像处理，采用OpenGL绘制
应用
-
图片：对于一个图片，我们可以根据所需效果，依据上述方法进行各种处理
-
视频：视频处理依据视频的来源，
第一种是通过相机获取视频数据，通常是YUV格式，然后逐帧对其处理；
第二种是，通过一张或多张素材图片，来进行滤镜处理，如转场，动画，幻灯片类似的处理，然后生成视频；
第三种是，用户输入的源视频，通过MediaDecoder或者FFmpeg来获取视频帧处理
注意：视频对帧率要求较高，不能出现卡顿
- 相机滤镜：YUV视频数逐帧处理
-
美颜美妆：
对于单张静态图片，通过人脸识别，进行区域判断，进行美妆，上色等
对于相机：通过对YUV视频数逐帧进行人脸识别，然后处理 -
人脸动态贴纸：和美颜美妆处理方式相同
- ........其它应用
关于人脸识别方案
- 自己也能实现简单的人脸识别，但精度和速度，对于生产环境很苛刻，通常是购买三方服务。好在这些三方服务，目前有免费测试用，不过发布到应用市场，或其他商业应用，就需要购买服务了。 这些识别服务，以sdk的方式集成到apk包中，按时或者按次收费
后续
- 自己目前从事这方面的图像处理，希望通过此种方式，来进行这段时间的总结和系统化学习相关知识
- 以后会对以上各种思想方法和应用进行实现
网友评论