OpenCV- iOS 图像处理编程入门

OpenCV简介

OpenCV（Open Source Computer Vision Library） 是一个广受欢迎的开源的跨平台计算机视觉库，它实现了图像处理和计算机视觉方面的很多通用算法，算法从最基本的滤波到高级的物体检测皆有涵盖。

多语言接口

OpenCV 使用 C/C++ 开发，同时也提供了 Python、Java、MATLAB 等其他语言的接口。

跨平台

OpenCV 是跨平台的，可以在 Windows、Linux、Mac OS、Android、iOS 等操作系统上运行。

应用领域广泛

OpenCV 的应用领域非常广泛，包括图像拼接、图像降噪、产品质检、人机交互、人脸识别、动作识别、动作跟踪、无人驾驶等。OpenCV 还提供了机器学习模块，你可以使用正态贝叶斯、K最近邻、支持向量机、决策树、随机森林、人工神经网络等机器学习算法。

集成OpenCV

1、首先创建一个Xcode 工程， 在Build Settings 设置BuEnable Bitcode 为NO。

2、使用 cocoaPads 配置OpenCV。打开终端，cd到项目的目录，执行pod init 命令初始化工程，创建工程对应的Podfile文件。使用 vim Podfile 添加 pod 'OpenCV' ,'~> 4.3.0'，最后执行pod install安装OpenCV。

3、所引用到OpenCV 的类文件，需要将m文件改成.mm,告诉编译器有C++。

基础图像容器Mat

图像表示

通常我们拍摄的现实世界中的真实的图像，在转化到电子设备中时，记录的却是图像中的每个点的数值。

一副尺寸为A x B的图像，可以用AxB的矩阵来表示，矩阵元素的值表示这个位置上的像素的亮度，一般来说像素值越大表示该点越亮。

一般情况，灰度图用 2 维矩阵表示，彩色(多通道)图像用 3 维矩阵(M × N × 3)表示。对于图像显示来说，目前大部分设备都是用无符号 8 位整数(类型为 CV_8U)表示像素亮度。

图像数据在计算机内存中的存储顺序为以图像最左上点(也可能是最左下 点)开始，如果是多通道图像，比如 RGB 图像，则每个 像素用三个字节表示。在 OpenCV 中，RGB 图像的通道顺序为 BGR 。

Mat类关键属性及定义

其中关键的属性如下：

/* flag参数中包含许多关于矩阵的信息，如: -Mat 的标识

-数据是否连续 -深度 -通道数目

*/

int flags;

//矩阵的维数，取值应该大于或等于 2

int dims;

//矩阵的行数和列数，如果矩阵超过 2 维，这两个变量的值都为-1

int rows, cols;

//指向数据的指针

uchar* data;

//指向引用计数的指针 //如果数据是由用户分配的，则为 NULL

int* refcount;

Mat定义如下：

class CV_EXPORTS Mat
{
public:
    Mat();
    Mat(int rows, int cols, int type);
    Mat(Size size, int type);
    Mat(int rows, int cols, int type, const Scalar& s);
    Mat(Size size, int type, const Scalar& s);
    Mat(int ndims, const int* sizes, int type);
    Mat(const std::vector<int>& sizes, int type);
    Mat(int ndims, const int* sizes, int type, const Scalar& s);
    Mat(const std::vector<int>& sizes, int type, const Scalar& s);
    Mat(const Mat& m);
    Mat(int rows, int cols, int type, void* data, size_t step=AUTO_STEP);
    Mat(Size size, int type, void* data, size_t step=AUTO_STEP);
    .......
    .........................
    ................................
          /*! includes several bit-fields:
         - the magic signature
         - continuity flag
         - depth
         - number of channels
     */
    int flags;
    //! the matrix dimensionality, >= 2
    int dims;
    //! the number of rows and columns or (-1, -1) when the matrix has more than 2 dimensions
    int rows, cols;
    //! pointer to the data
    uchar* data;

    //! helper fields used in locateROI and adjustROI
    const uchar* datastart;
    const uchar* dataend;
    const uchar* datalimit;

    //! custom allocator
    MatAllocator* allocator;
    //! and the standard allocator
    static MatAllocator* getStdAllocator();
    static MatAllocator* getDefaultAllocator();
    static void setDefaultAllocator(MatAllocator* allocator);

    //! internal use method: updates the continuity flag
    void updateContinuityFlag();

    //! interaction with UMat
    UMatData* u;

    MatSize size;
    MatStep step;

protected:
    template<typename _Tp, typename Functor> void forEach_impl(const Functor& operation);
};

创建Mat对象

Mat 是一个非常优秀的图像类，它同时也是一个通用的矩阵类，可以用来创建和操作多维矩阵。有多种方法创建一个 Mat 对象。

对于二维多通道图像，首先要定义其尺寸，即行数和列数。而后需要指定存储元素的数据类型以及每个矩阵点的通道数。为此，定义规则如下：

CV_【位数】【带符号与否】【类型前缀】C【通道数】

例：CV_8UC3：表示使用8位的unsigned char类型，每个像素有三个元素组成三通道。而预先定义的通道数可以多达四个。Scalar 是个short 类型的向量，能使用指定的定制化值来初始化矩阵，它还可以表示颜色。

1、构造函数方法创建Mat

Mat M(5,8, CV_8UC3, Scalar(255,0,0));

创建一个高度为5，宽度为8的图像，图像元素为8位无符号类型，且有3个通道。图像的所有像素值被初始化为（255，0，0）。因 OpenCV 中默认的颜色顺序为 BGR，因此这是一个纯蓝色的图像【RGB为：（0，0，255）】

//创建行数为 rows，列数为 col，类型为 type 的图像;
Mat::Mat(int rows, int cols, int type);
//创建大小为 size，类型为 type 的图像;
Mat::Mat(Size size, int type)
//创建行数为 rows，列数为 col，类型为 type 的图像，并将所有元素初始 化为值 s;
Mat::Mat(int rows, int cols, int type, const Scalar& s);
//创建大小为 size，类型为 type 的图像，并将所有元素初始化为值 s;
Mat::Mat(Size size, int type, const Scalar& s);

2、利用Create()函数创建Mat

Mat mat; 
mat.create(2, 2, CV_8UC3);

常用数据结构和函数

Point类

用于表示点。Point类数据结构表示了二维坐标系下的点，即由其图像坐标x和y指定的2D点。

使用方式如下：

Point point;
point.x=2;
point.y=5;
或
Point point=Point(2,5);

Scalar类

用于表示颜色的。Scalar()表示具有4个元素的数组，在OpenCV中被大量用于传递像素值，如RGB颜色值。RGB颜色值为三个参数，对于Scalar()来说，第四个参数为可选，用不到则无需写出，只写三个参数，则OpenCV会认为我们就想表示三个参数。

例：

 Scalar scalar=Scalar(0,2,255);

定义的RGB颜色值为：0：蓝色分量，2：绿色分量，255：红色分量。

Scalar类的源头为Scalar_类，而Scalar_类为Vec4x 的一个变种，常用的Scalar其实就是 Scalar_<double> ，这也是为啥很多函数的参数可以输入Mat，也可以是Scalar。

//Vec 是Matx的一个派生类，一个一维的Matx,和vector很类似。Matx是个轻量级的Mat,必须在使用前规定好大小。
template<typename _Tp> class Scalar_ : public Vec<_Tp, 4>
{
public:
    //! default constructor
    Scalar_();
    Scalar_(_Tp v0, _Tp v1, _Tp v2=0, _Tp v3=0);
    Scalar_(_Tp v0);

    Scalar_(const Scalar_& s);
    Scalar_(Scalar_&& s) CV_NOEXCEPT;

    Scalar_& operator=(const Scalar_& s);
    Scalar_& operator=(Scalar_&& s) CV_NOEXCEPT;

    template<typename _Tp2, int cn>
    Scalar_(const Vec<_Tp2, cn>& v);

    //! returns a scalar with all elements set to v0
    static Scalar_<_Tp> all(_Tp v0);

    //! conversion to another data type
    template<typename T2> operator Scalar_<T2>() const;

    //! per-element product
    Scalar_<_Tp> mul(const Scalar_<_Tp>& a, double scale=1 ) const;

    //! returns (v0, -v1, -v2, -v3)
    Scalar_<_Tp> conj() const;

    //! returns true iff v1 == v2 == v3 == 0
    bool isReal() const;
};

typedef Scalar_<double> Scalar;

Size类

用于表示尺寸。Size类部分源代码如下：

typedef Size_<int> Size2i;
typedef Size_<int64> Size2l;
typedef Size_<float> Size2f;
typedef Size_<double> Size2d;
typedef Size2i Size;

其中Size_是模版类，在此，Size_<int>表示其类内部的模版所代表的类型为int。意思是：首先给已知的数据类型Size_<int>起个新名字为Size2i，然后又给已知的数据类型Size2i 起个新名字Size。因此，Size_<int>、Size2i、Size三个类型名等价。

Size_模版定义如下：

template<typename _Tp> class Size_
{
public:
    typedef _Tp value_type;

    //! default constructor
  //构造函数
    Size_();
    Size_(_Tp _width, _Tp _height);
    Size_(const Size_& sz);
    Size_(Size_&& sz) CV_NOEXCEPT;
    Size_(const Point_<_Tp>& pt);

    Size_& operator = (const Size_& sz);
    Size_& operator = (Size_&& sz) CV_NOEXCEPT;
    //! the area (width*height)
  //区域(width*height)
    _Tp area() const;
    //! aspect ratio (width/height)
    double aspectRatio() const;
    //! true if empty
    bool empty() const;

    //! conversion of another data type.
  //转化为另一种数据类型
    template<typename _Tp2> operator Size_<_Tp2>() const;
     //常用属性，模版类型的宽度和高度
    _Tp width; //!< the width 宽度
    _Tp height; //!< the height高度
};

Size_模版类内部又重载了一些构造函数，使用度最高的构造函数如下：

Size_(_Tp _width, _Tp _height);

于是我们可以用xx.width和xx.height 来分别表示宽和高。

例：Size(2,3);构造出的Size宽为2，高为3。即 size.width=2， size.height=3。

 Size size=Size(2,3);
 size.width;
 size.height;

Rect类

用于表示矩形。Rect 类的成员变量有x，y，width，height，分别为左上角点点坐标和矩形的宽和高。常用的成员函数有Size(),返回值为Size;area()返回矩形的面积；contains（Point）判断点是否位于矩形内；inside(Rect)函数判断矩形是否在该矩形内；tl()返回左上角点坐标；br()返回右下角点坐标。如想求两个矩形的交集和并集，可如下这么写：

  Rect rect1=Rect(0,0,100,120);
  Rect rect2=Rect(10,10,100,120);
  Rect rect=rect1|rect2;
  Rect rect3=rect1&rect2;

若想让矩形进行平移或缩放操作，可这样：

  Rect rect=Rect(10,10,100,120);
  Rect rect1=rect+point;
  Rect rect2=rect+size;

cvtColor类

用于颜色空间转换。cvtColor()函数是OpenCV里的颜色空间转换函数，可以实现RGB向HSV 、HSI等颜色空间的转换，可以转换为灰度图像。

cvtColor()函数定义如下：

CV_EXPORTS_W void cvtColor( InputArray src, OutputArray dst, int code, int dstCn = 0 );

第1个参数src为输入图像，第2个参数dst为输出图像，第3个参数code为颜色空间转换的标识符，第4个参数dstCn为目标图像的通道数，若参数是0，表示目标图像取源图像的通道数。

例：转换源图片为灰度图片

 cvtColor(matInput, grayMat,COLOR_BGR2GRAY);

颜色空间转换标识符在OpenCV 库中的imgproc.hpp 中的ColorConversionCodes 枚举中定义了很多标识符。

/** the color conversion codes
@see @ref imgproc_color_conversions
@ingroup imgproc_color_conversions
 */
enum ColorConversionCodes {
    COLOR_BGR2BGRA     = 0, //!< add alpha channel to RGB or BGR image
    COLOR_RGB2RGBA     = COLOR_BGR2BGRA,

    COLOR_BGRA2BGR     = 1, //!< remove alpha channel from RGB or BGR image
    COLOR_RGBA2RGB     = COLOR_BGRA2BGR,

    COLOR_BGR2RGBA     = 2, //!< convert between RGB and BGR color spaces (with or without alpha channel)
    COLOR_RGB2BGRA     = COLOR_BGR2RGBA,

    COLOR_RGBA2BGR     = 3,
    COLOR_BGRA2RGB     = COLOR_RGBA2BGR,
    ...........
    ...................
    ..............................
        //! Demosaicing with alpha channel
    COLOR_BayerBG2BGRA = 139,
    COLOR_BayerGB2BGRA = 140,
    COLOR_BayerRG2BGRA = 141,
    COLOR_BayerGR2BGRA = 142,

    COLOR_BayerBG2RGBA = COLOR_BayerRG2BGRA,
    COLOR_BayerGB2RGBA = COLOR_BayerGR2BGRA,
    COLOR_BayerRG2RGBA = COLOR_BayerBG2BGRA,
    COLOR_BayerGR2RGBA = COLOR_BayerGB2BGRA,

    COLOR_COLORCVT_MAX  = 143
};

图像处理技术

访问图像中的像素

我们已经了解到图像矩阵的大小取决于所用的颜色模型，准确的说取决于所用的通道数。如果是灰度图像，矩阵如下：

	c 0	c 1	c ...	c m
R 0	0,0	0,1	...	0,m
R 1	1,0	1,1	...	1,m
R ...	...,0	...,1	...	...,m
R n	n,0	n,1	n,..	n,m

多通道图来说，矩阵中列会包含多个子列，其子列个数与通道数相等。

例：下面表示RGB 颜色模型的矩阵。

	c 0	c 1	c ...	c m
R 0	0,0 0,0 0,0	0,1 0,1 0,1	... ... ...	0,m 0,m 0,m
R 1	1,0 1,0 1,0	1,1 1,1 1,1	... ... ...	1,m 1,m 1,m
R ...	...,0 ...,0 ...,0	...,1 ...,1 ...,1	... ... ...	...,m ...,m ...,m
R n	n,0 n,0 n,0	n,1 n,1 n,1	n,.. n,.. n,..	n,m n,m n,m

值得注意的是，OpenCV中子列的通道顺序是反过来的，是BGR 而不是RGB。

任何图像处理算法，都是从操作每个像素开始的。OpenCV中提供了三种访问每个像素的方法。

指针访问：

指针访问像素利用的是C语言中的操作符[]。这种最快。

//颜色空间缩减
void colorReduce(Mat& matInput,Mat& matoutput,int div){
    //复制输入图像
    matoutput=matInput.clone();
    int rows=matoutput.rows;//行数，高度
    int cols=matoutput.cols*matoutput.channels();//列数*通道数=每一行元素的个数
    //遍历图像矩阵//宽度
    for (int i=0; i<rows; i++) {//行循环
        uchar *data=matoutput.ptr<uchar>(i);//取出第i行首地址
        for (int j=0; j<cols; j++) {//列循环
            data[j]=data[j]/div*div+div/2;//开始处理每一个像素
        }
    }
}

Mat类中的公有成员变量rows为图像的高度，cols是宽度。channels()函数返回图像的通道数。灰度通道是1，彩色通道数为3，含alpha的为4。ptr<uchar>(i)可以得到图像任意行的首地址。ptr是模版函数，返回第i行的首地址。

迭代器iterator：

在迭代法中，仅仅需要获取图像矩阵的begin和end，然后增加迭代从begin到end。将(*it)带星操作符添加到迭代指针前，即可访问当前指向的内容。相比指针直接访问可能出现越界的问题，迭代器绝对是非常安全的方法。

//颜色空间缩减
void colorReduceIterator(Mat& matInput,Mat& matoutput,int div){
    //复制输入图像
    matoutput=matInput.clone();
    //初始位置迭代器
    Mat_<Vec3b>::iterator it=matoutput.begin<Vec3b>();
    //终止位置的迭代器
    Mat_<Vec3b>::iterator itend =matoutput.end<Vec3b>();
    //遍历图像矩阵
    for (;it!=itend;++it) {
        //处理每一个像素
        (*it)[0]=(*it)[0]/div*div+div/2;
        (*it)[1]=(*it)[1]/div*div+div/2;
        (*it)[2]=(*it)[2]/div*div+div/2;
    }
}

动态地址计算：

使用动态地址来计算操作像素，需配合at方法的colorReduce 函数。这种方法简洁明了。但不是最快。

//颜色空间缩减
void colorReduceVec(Mat& matInput,Mat& matoutput,int div){
    //参数准备
    matoutput=matInput.clone();
    int rows=matoutput.rows;//行数
    int cols=matoutput.cols;//列数
    for (int i=0; i<rows; i++) {
        for (int j=0; j<cols; j++) {//处理每一个像素
            //蓝色通道
            matoutput.at<Vec3b>(i,j)[0]=matoutput.at<Vec3b>(i,j)[0]/div*div+div/2;
             //绿色通道
            matoutput.at<Vec3b>(i,j)[1]=matoutput.at<Vec3b>(i,j)[1]/div*div+div/2;
            //红色通道
            matoutput.at<Vec3b>(i,j)[2]=matoutput.at<Vec3b>(i,j)[2]/div*div+div/2;
        }
    }
}

at<Vec3b>(i,j)函数可以用来存取图像元素，但是在编译期必须知道图像的数据类型。务必保证指定的数据类型和矩阵中的数据类型相符合，因at方法本身不对任何数据类型进行转换。

彩色图像

每个像素由三个部分构成，蓝色通道、绿色通道、红色通道 【BGR】 。

若带Alpha通道，则每个像素由三个部分构成，蓝色通道、绿色通道、红色通道 Alpha通道【BGRA】 。

三通道图像

是指具有RGB三种通道的图像，简单来说就是彩色图像。R：红色，G：绿色，B：蓝色。比如红色为（255，0，0）

四通道图像

是在三通道的基础上加上了一个Alpha通道，Alpha用来衡量一个像素或图像的透明度。比如Alpha为0时，该像素完全透明，Alpha为255时，该像素是完全不透明。
一个包含彩色图像的Mat，会返回一个由3个8位数组成的向量。OpenCV中将此类型的向量定义为Vec3b,即由3个unsigned char 组成的向量。若带有alpha通道，则会返回一个由4个8位数组成的向量，OpenCV中将此类型的向量定义为为Vec4b。所以我们可以这样使用：matoutput.at<Vec3b>(i,j)[0]索引值0标明了颜色的通道号为0。代表该点的B分量(蓝色)。

图像置灰

//置灰
-(UIImage *)grayInPutImage:(UIImage *)inputImage{
    cv::Mat matInput=[[CVUtil sharedInstance]cvMatFromUIImage:inputImage];
    cv:: Mat grayMat;
    cv::cvtColor(matInput, grayMat,cv::COLOR_BGR2GRAY);
    UIImage *imag=[[CVUtil sharedInstance]UIImageFromCVMat:grayMat];
    return imag;
}

方框滤波

//方框滤波操作
-(UIImage *)boxFilterInPutImage:(UIImage *)inputImage value:(int)value{
    Mat matInput=[[CVUtil sharedInstance]cvMatFromUIImage:inputImage];
    Mat boxFilterMat;
    boxFilter(matInput, boxFilterMat, -1,cv::Size(value+1,value+1));
    UIImage *imag=[[CVUtil sharedInstance]UIImageFromCVMat:boxFilterMat];
    return imag;
}

均值滤波

//均值滤波操作
-(UIImage *)blurInPutImage:(UIImage *)inputImage value:(int)value{
    Mat matInput=[[CVUtil sharedInstance]cvMatFromUIImage:inputImage];
    Mat blurMat;
    blur(matInput, blurMat, cv::Size(value+1,value+1),cv::Point(-1,-1));
    UIImage *imag=[[CVUtil sharedInstance]UIImageFromCVMat:blurMat];
    return imag;
}

高斯滤波

//高斯滤波操作
-(UIImage *)gaussianBlurInPutImage:(UIImage *)inputImage value:(int)value{
    Mat matInput=[[CVUtil sharedInstance]cvMatFromUIImage:inputImage];
    Mat gaussianBlurMat;
    GaussianBlur(matInput, gaussianBlurMat, cv::Size(value*2+1,value*2+1), 0,0);
    UIImage *imag=[[CVUtil sharedInstance]UIImageFromCVMat:gaussianBlurMat];
    return imag;
}

中值滤波

//中值滤波操作
-(UIImage *)medianBlurInPutImage:(UIImage *)inputImage value:(int)value{
    Mat matInput=[[CVUtil sharedInstance]cvMatFromUIImage:inputImage];
    Mat medianBlurMat;
    medianBlur(matInput, medianBlurMat,value*2+1);
    UIImage *imag=[[CVUtil sharedInstance]UIImageFromCVMat:medianBlurMat];
    return imag;
}

双边滤波

//双边滤波操作
-(UIImage *)bilateralFilterInPutImage:(UIImage *)inputImage value:(int)value{
    Mat matInput=[[CVUtil sharedInstance]cvMatFromUIImage:inputImage];
    Mat bilateralFilterMat;
    Mat grayMat;
    cvtColor(matInput, grayMat,cv::COLOR_BGR2GRAY);
    bilateralFilter(grayMat, bilateralFilterMat, value, (double)value*2, (double)value/2);
    UIImage *imag=[[CVUtil sharedInstance]UIImageFromCVMat:bilateralFilterMat];
    return imag;
}

腐蚀

//腐蚀操作
- (UIImage *)erodeInPutImage:(UIImage *)inputImage value:(int)value{
    Mat matInput=[[CVUtil sharedInstance]cvMatFromUIImage:inputImage];
    Mat element;
    element=cv::getStructuringElement(MORPH_RECT, cv::Size(2*value+1,2*value+1),cv::Point(value,value));
    Mat desimg;
    erode(matInput,desimg,element);
    UIImage *imag=[[CVUtil sharedInstance]UIImageFromCVMat:desimg];
    return imag;
}

膨胀

//膨胀操作
- (UIImage *)dilateInPutImage:(UIImage *)inputImage value:(int)value{
    Mat matInput=[[CVUtil sharedInstance]cvMatFromUIImage:inputImage];
    Mat element;
    element=cv::getStructuringElement(MORPH_RECT, cv::Size(2*value+1,2*value+1),cv::Point(value,value));
    Mat desimg;
    dilate(matInput,desimg,element);
    UIImage *imag=[[CVUtil sharedInstance]UIImageFromCVMat:desimg];
    return imag;
}

边缘检测

//边缘检测
-(UIImage *)cannyInPutImage:(UIImage *)inputImage value:(int)value{
    if (value==0) {
        return inputImage;
    }
    Mat srcImage=[[CVUtil sharedInstance]cvMatFromUIImage:inputImage];
    Mat destImage;
    destImage.create(srcImage.size(), srcImage.type());
    Mat grayImage;
    cvtColor(srcImage, grayImage, COLOR_BGR2GRAY);
    Mat edge;
    blur(grayImage,edge,cv::Size(value,value));
    Canny(edge, edge, 13, 9 ,3);
    destImage=Scalar::all(0);
    srcImage.copyTo(destImage, edge);
    UIImage *imag=[[CVUtil sharedInstance]UIImageFromCVMat:destImage];
    return imag;
}

图像对比度和亮度调整

//调整对比度和亮度
-(UIImage *)contrasAndBrightInPutImage:(UIImage *)inputImage alpha:(NSInteger)alpha beta:(NSInteger)beta{
    Mat g_srcImage=[[CVUtil sharedInstance]cvMatFromUIImage:inputImage];
    if(g_srcImage.empty()){
        return nil;
    }
    Mat g_dstImage=Mat::zeros(g_srcImage.size(),g_srcImage.type());
    int height=g_srcImage.rows;
    int width=g_srcImage.cols;
    for (int row=0; row<height; row++) {
        for (int col=0; col<width; col++) {
            for (int c=0; c<4; c++) {//4通道BGRA图像
                g_dstImage.at<Vec4b>(row,col)[c]=saturate_cast<uchar>((alpha*0.01)*(g_srcImage.at<Vec4b>(row,col)[c])+beta);
            }
        }
    }
    UIImage *imag=[[CVUtil sharedInstance]UIImageFromCVMat:g_dstImage];
    return imag;
}

总结

OpenCV 的应用领域非常广泛，对于图像处理、人机交互及机器学习算法感兴趣的可以选择一个方向进行深入的研究。