前言

这篇文章是有感而发，从一开始做实时美颜视频录制到现在大概能真正开始用，找了无数资料，也经历了很长一段时间，真的感觉比较艰难，我现在写这篇文章也希望能帮助到更多的人。

首先我需要特别感谢下程序员扛把子同学，讲真，我感觉是技术大佬没的说，最最关键具有共享精神，要不是他的《Android+JNI+OpenGL开发自己的美图秀秀》我估计根本没任何办法完成美颜录制。

代码已上传至GitHub

特别附上MagicCamera工程

提示：工程需要下载NDK

正文

其实一开始叫我做美颜录制我是拒绝的，因为不能你叫我做我就做，最关键的是......

我不会啊！！！

我就是一开发Android的，你叫我做这个明显是超出的能力范围的啊！！！

好吧，领导最大，你叫我做我就做，然后我就开始找这方面的资料，最先找到的就是GPUImage，后来找到了MagicCamera，可以说它已经实现了全部的功能，你唯一需要考虑的就是如何将它移植到你的工程中去。

其实上面的都不是本文的重点n(≧▽≦)n**

重点来了

我上面说过MagicCamera已经实现了全部的功能，包括实时滤镜浏览到最后的录制成MP4，但问题就出在录制这里。

MagicCamera采用的是录制方案来自于grafika，这是个神器，你可以从里面了解到GLSurfaceview的很多知识，据说是Google工程师fadden业余时间写的。

这个方案实际上最终就是利用MediaCodec录制，MediaCodec的颜色模式里有个MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface常量，设置MediaFormat.KEY_COLOR_FORMAT后就可以通过mEncoder.createInputSurface()创建一个Surface，然后你就可以通过OpenGL将图像绘制到这个Surface上，MediaCodec就可以通过这个Surface录制出H264，具体代码可以看VideoEncoderCore。

上面方案其实非常好，效率也非常高，因为是直接硬编码的H264，比起一般使用ffmpng的软编码效率要高不少，但是有个非常致命的缺点，无法设置fps。

MediaCodec有个MediaFormat.KEY_FRAME_RATE参数，它可以设置fps，但是我发现我不管设置什么最终读出的fps都是25帧，后来我谷歌到了《MediaCodec KEY_FRAME_RATE seems to be ignored》才知道MediaCodec不会丢帧，如果要降低fps，必须减少传给MediaCodec的帧数，但事实上我就算减少了帧数，最终录制出来的H264的fps还是25帧，我不知道为什么。

这里我跟yasea的作者begeekmyfriend讨论过《关于取得美颜数据的效率问题》还是没得到结果，如果有谁知道请留言告诉我下，谢谢。

如果你对MediaCodec不熟悉的话，可以看下Google官方文档的翻译版本《Android多媒体--MediaCodec 中文API文档》然后结合grafika学习。

解决问题

然后我没办法只能寻找其他方法解决。

我这里列举下我查找过的方法

• GLES20.glReadPixels()：OpenGL方法，用于读取像素，但我测试过只有在索尼或者三星的手机上效率可以，在国产的机子上效率低的可以差不多接近100ms，这是完全不可接受的。

• PBO：详细请看我的另一篇文章《Android 关于美颜/滤镜 利用PBO从OpenGL录制视频》。
• EGLImageKHR：它要用到一个叫GraphicBuffer的类，但是谷歌后我才知道这个类早在2.X就已经在NDK删除了，不允许你使用，后来我找到了替代GraphicBuffer，但是想想还是算了，既然被删除了就一定有他的道理。
• ImageReader：这个就是我最终的方案，效率完全可以接受，但是要求4.4以上。

ImageReader

这个方案是我从《Android5.0录屏方案》中得到的灵感，这篇文章说MediaProjection是通过createVirtualDisplay()创建的，并且它接受一个Surface，通过创建ImageReader后调用getSurface()方法得到一个Surface后传递给MediaProjection，然后就可以通过ImageReader相关的API进行录制。

这我发现跟MediaCodec创建Surface的方式一模一样，唯一不同的就是MediaCodec录制出来的是H264，而ImageReader拿出来的是BGRA的，用《Android ImageReader使用》的话说就是**ImageReader类允许应用程序直接访问呈现表面的图像数据 **。

ImageReader首先要求4.4及以上（稍微有点瑕疵，但是现在4.4以下的机子应该比较少了），并且拿出来的是BGRA的（跟Bitmap的ARGB_8888是不一样的，这里要注意），而且在使用过程中要注意内存对齐的问题。

这里需要注意，我在Demo中是480x640的，如果是原来的1280x1080那这效率还是远远跟不上的。

接下来我们的思路就很清楚了

1. 创建ImageReader后获得Surface。

• TextureMovieEncoder获取这个Surface，然后将图像绘制到这个Surface。
• 通过setOnImageAvailableListener设置回调，然后通过acquireNextImage()方法获取每一帧。
• 将取出来的数据BGRA转换为YUV420，通过MediaCodec或者ffmpng编码成H264。

我们现在要做的就是替换VideoEncoderCore，创建一个ImageEncoderCore。

完整代码请看ImageEncoderCore

public class ImageEncoderCore {
    private static final int MAX_IMAGE_NUMBER = 25;//这个值代表ImageReader最大的存储图像

    private ImageReader mImageReader;
    private Surface mInputSurface;

    public ImageEncoderCore(int width, int height) {
        this.mImageReader = ImageReader.newInstance(width, height, PixelFormat.RGBA_8888, MAX_IMAGE_NUMBER);

        mInputSurface = mImageReader.getSurface();

        mImageReader.setOnImageAvailableListener(new ImageReader.OnImageAvailableListener() {
            @Override
            public void onImageAvailable(ImageReader reader) {
                Image image = reader.acquireNextImage();//获取下一个
                Image.Plane[] planes = image.getPlanes();
                int width = image.getWidth();//设置的宽
                int height = image.getHeight();//设置的高
                int pixelStride = planes[0].getPixelStride();//像素个数，RGBA为4
                int rowStride = planes[0].getRowStride();//这里除pixelStride就是真实宽度
                int rowPadding = rowStride - pixelStride * width;//计算多余宽度

                byte[] data = new byte[rowStride * height];//创建byte
                ByteBuffer buffer = planes[0].getBuffer();//获得buffer
                buffer.get(data);//将buffer数据写入byte中

                //到这里为止就拿到了图像数据，你可以转换为yuv420，或者录制成H264

                //这里我提供一段转换为Bitmap的代码

                //这是最终数据，通过循环将内存对齐多余的部分删除掉
                // 正常ARGB的数据应该是width*height*4，但是因为是int所以不用乘4
                int[] pixelData = new int[width * height];

                int offset = 0;
                int index = 0;
                for (int i = 0; i < height; ++i) {
                    for (int j = 0; j < width; ++j) {
                        int pixel = 0;
                        pixel |= (data[offset] & 0xff) << 16;     // R
                        pixel |= (data[offset + 1] & 0xff) << 8;  // G
                        pixel |= (data[offset + 2] & 0xff);       // B
                        pixel |= (data[offset + 3] & 0xff) << 24; // A
                        pixelData[index++] = pixel;
                        offset += pixelStride;
                    }
                    offset += rowPadding;
                }

                Bitmap bitmap = Bitmap.createBitmap(pixelData,
                        width, height,
                        Bitmap.Config.ARGB_8888);//创建bitmap

                image.close();//用完需要关闭
            }
        }, null);
    }

    /**
     * 返回surface
     */
    public Surface getInputSurface() {
        return mInputSurface;
    }

    /**
     * 释放
     */
    public void release() {
        if (mImageReader != null) {
            mImageReader.close();
            mImageReader = null;
        }
    }
}

工程我直接用的是MagicCamera，将VideoEncoderCore替换成ImageEncoderCore，然后将获取的图像传回主界面显示。

结尾

实时上ImageReader对于获取大尺寸的图像的效率还是不是非常高，所以我在工程中使用的是480x640的分辨率，老实讲我还是觉得MediaCodec的方法应该更加的好，毕竟ImageReader还需要多2步转换过程（BGRA转ARGB转YUV420）。

就这些吧，共勉。