前面说到，要使用Labwindows + NI Vision（IMAQ Vision）这套商用开发框架来做数图课设。很明显，这套虚拟仪器开发平台由NI Instrument（美国国家仪器公司）开发的。大名鼎鼎的Labview软件就是这个公司开发的。相比较而言，Labwindows使用ANSI C开发，但应用场景是差不多的。

虚拟仪器（VI）的实质是利用计算机的IO接口完成信号的采集、测试与调试，凭借现代PC强大的计算能力来实现信号数据的运算、分析和处理，并使用显示器来模拟传统仪器的控制面板，从而完成各种测试功能的一种计算机仪器系统。

在做课程作业的时候，遇到了一个很有趣的应用。输入是米粒，比背景灰度要低，目的是输出米粒的颗数、面积、周长和孔数，这是工业上的一个很常见的应用。具体处理过程是二值化后使用低通滤波，并计算各种性质。

原图 - 二值化 - 低通滤波 - 连通域标记

界面设计如下，可以看到米粒的详细情况。

Labwindows界面

让我感兴趣的，是通过怎样的算法能够得到米粒的数量？之前曾经用过OpenCV中找最大外界矩形这个函数，但没有具体了解算法实现。直觉告诉我原理应该是相似的。

1.连通区域

可以看到，每一个米粒之间都是不连通的。这里就就提出了一个概念。连通区域（Connected Component）是指图像中相邻并有相同像素值的图像区域。连通区域分析（Connected Component Analysis,Connected Component Labeling）是指将图像中的各个连通区域找出并标记。

二值图像分析最重要的方法就是连通区域标记，它是所有二值图像分析的基础，它通过对二值图像中白色像素（目标）的标记，让每个单独的连通区域形成一个被标识的块，进一步的我们就可以获取这些块的轮廓、外接矩形、质心、不变矩等几何参数。如果要得到米粒的数量，那么通过连通区域分析（这里是二值图像的连通区域分析），就可以得到标记的数量，从而得到米粒的数量。

首先，连通区域的定义一般有两种，分为4邻接和8邻接，上图就知道了。 4邻接 8邻接

下面这幅图中，如果考虑4邻接，则有3个连通区域，8邻接则是2个。

连通区域数量与邻接定义有关

从连通区域的定义可以知道，一个连通区域是由具有相同像素值的相邻像素组成像素集合，因此，我们就可以通过这两个条件在图像中寻找连通区域，对于找到的每个连通区域，我们赋予其一个唯一的标识（Label），以区别其他连通区域。

连通区域分析的基本算法有两种：1）Two-Pass两便扫描法 2）Seed-Filling种子填充法 。

2.Two-Pass算法

两遍扫描法（Two-Pass），正如其名，指的就是通过扫描两遍图像，就可以将图像中存在的所有连通区域找出并标记。

（1）第一次扫描：
访问当前像素B(x,y)，如果B(x,y) == 1：
a、如果B(x,y)的领域中像素值都为0，则赋予B(x,y)一个新的label：
label += 1， B(x,y) = label；
b、如果B(x,y)的领域中有像素值 > 1的像素Neighbors：
1）将Neighbors中的最小值赋予给B(x,y):
B(x,y) = min{Neighbors}
2）记录Neighbors中各个值（label）之间的相等关系，即这些值（label）同属同一个连通区域；
labelSet[i] = { label_m, .., label_n }，labelSet[i]中的所有label都属于同一个连通区域（注：这里可以有多种实现方式，只要能够记录这些具有相等关系的label之间的关系即可）
（2）第二次扫描：
访问当前像素B(x,y)，如果B(x,y) > 1：
a、找到与label = B(x,y)同属相等关系的一个最小label值，赋予给B(x,y)；
完成扫描后，图像中具有相同label值的像素就组成了同一个连通区域。

说了一堆数学语言，其实用图很好理解

Two-Pass动态过程

3.Seed-Filling算法

种子填充方法来源于计算机图形学，常用于对某个图形进行填充。它基于区域生长算法。至于区域生长算法是什么，可以参照我的这篇文章。

下面给出基于种子填充法的连通区域分析方法：
（1）扫描图像，直到当前像素点B(x,y) == 1：
a、将B(x,y)作为种子（像素位置），并赋予其一个label，然后将该种子相邻的所有前景像素都压入栈中；
b、弹出栈顶像素，赋予其相同的label，然后再将与该栈顶像素相邻的所有前景像素都压入栈中；
c、重复b步骤，直到栈为空；
此时，便找到了图像B中的一个连通区域，该区域内的像素值被标记为label；
（2）重复第（1）步，直到扫描结束；
扫描结束后，就可以得到图像B中所有的连通区域；

同样的，上动图

Seed-Filling动态过程

4.算法实现

NI Vision 中的算子定义如下

//统计标记数量
int imaqLabel(Image* dest, Image* source, int connectivity8, int* particleCount);

//得到粒子的具体信息
ParticleReport* imaqGetParticleInfo(Image* image, int connectivity8,
                                    ParticleInfoMode mode, int* reportCount);

OpenCV中也有相应的算子

//带统计信息
int cv::connectedComponents(
InputArray  image, // 输入二值图像，黑色背景
OutputArray  labels, // 输出的标记图像，背景index=0
int  connectivity = 8, // 连通域，默认是8连通
int  ltype = CV_32S // 输出的labels类型，默认是CV_32S
)  
//不带统计信息
int cv::connectedComponentsWithStats(
InputArray  image, // 输入二值图像，黑色背景
OutputArray     labels, // 输出的标记图像，背景index=0
OutputArray     stats, // 统计信息，包括每个组件的位置、宽、高与面积
OutputArray     centroids, // 每个组件的中心位置坐标cx, cy
int     connectivity, // 寻找连通组件算法的连通域，默认是8连通
int     ltype, // 输出的labels的Mat类型CV_32S
int     ccltype // 连通组件算法
)

这里参照其他博客实现一下Two-Pass算法，Seed-Filling算法就偷懒不搞了。

/********************************************************************
 * Created by 杨帮杰 on 10/21/18
 * Right to use this code in any way you want without
 * warranty, support or any guarantee of it working
 * E-mail: yangbangjie1998@qq.com
 * Association: SCAU 华南农业大学
 ********************************************************************/

#include <iostream>
#include <string>
#include <list>
#include <vector>
#include <map>
#include <stack>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>


using namespace std;
using namespace cv;


/**
 * @brief TwoPassLabel 对二值图像连通域进行标记
 * @param bwImg 输入必须为二值图像
 * @return labImg 已经标记的灰度图像，不同标记灰度值不同
 */
Mat TwoPassLabel(const Mat &bwImg)
{
    assert(bwImg.type() == CV_8UC1 );
    Mat labImg;
    bwImg.convertTo( labImg, CV_32SC1 );
    int rows = bwImg.rows - 1;
    int cols = bwImg.cols - 1;

    //二值图像像素值为0或1，为了不冲突，label从2开始
    int label = 2;
    vector<int> labelSet;
    labelSet.push_back(0);
    labelSet.push_back(1);

    //第一次扫描
    int *data_prev = (int*)labImg.data;
    int *data_cur = (int*)(labImg.data + labImg.step );
    int left, up;//指针指向的像素点的左方点和上方点

    for( int i = 1; i < rows; i++ )
    {
        data_cur++;
        data_prev++;
        for( int j = 1; j < cols; j++, data_cur++, data_prev++ )
        {
            if( *data_cur!=1 )//当前点不为1，扫描下一个点
                continue;
            left = *(data_cur-1);
            up = *data_prev;
            int neighborLabels[2];
            int cnt = 0;
            if( left > 1 )
                neighborLabels[cnt++] = left;
            if( up > 1)
                neighborLabels[cnt++] = up;
            if(!cnt)
            {
                labelSet.push_back(label);
                *data_cur = label;
                label++;
                continue;
            }
            //将当前点标记设为左点和上点的最小值
            int smallestLabel = neighborLabels[0];
            if(cnt==2 && neighborLabels[1] < smallestLabel )
                smallestLabel = neighborLabels[1];
            *data_cur = smallestLabel;
            //设置等价表，这里可能有点难理解
            //左点有可能比上点小，也有可能比上点大，两种情况都要考虑,例如
            //0 0 1 0 1 0       x x 2 x 3 x
            //1 1 1 1 1 1  ->   4 4 2 2 2 2
            //要将labelSet中3的位置设置为2
            for(int k = 0; k < cnt; k++ )
            {
                int neiLabel = neighborLabels[k];
                int oldSmallestLabel = labelSet[neiLabel];
                if(oldSmallestLabel > smallestLabel )
                {
                    labelSet[oldSmallestLabel] = smallestLabel;
                }
                else if(oldSmallestLabel<smallestLabel )
                    labelSet[smallestLabel] = oldSmallestLabel;
            }
        }
        data_cur++;
        data_prev++;
    }
    //上面一步中,有的labelSet的位置还未设为最小值，例如
    //0 0 1 0 1      x x 2 x 3
    //0 1 1 1 1  ->  x 4 2 2 2
    //1 1 1 0 1      5 4 2 x 2
    //上面这波操作中，把labelSet[4]设为2，但labelSet[5]仍为4
    //这里可以将labelSet[5]设为2
    for( size_t i = 2; i < labelSet.size(); i++ )
    {
        int curLabel = labelSet[i];
        int prelabel = labelSet[curLabel];
        while(prelabel != curLabel)
        {
            curLabel = prelabel;
            prelabel = labelSet[prelabel];
        }
        labelSet[i] = curLabel;
    }
    //第二次扫描，用labelSet进行更新，最后一列
    data_cur = (int*)labImg.data;
    for(int i = 0; i < rows; i++ )
    {
        for(int j = 0; j < cols; j++, data_cur++)
            *data_cur = labelSet[*data_cur];
        data_cur++;
    }

    return labImg;
}

/**
 * @brief LabelColor 对连通域分析得到的图像（矩阵）添加颜色
 * @param labelImg 二值图像连通域分析得到的图像(每个点32位)
 * @param num 标记的个数
 * @return coloerLabelImg 带有颜色的标记图像
 */
Mat LabelColor(const Mat& labelImg, int& num)
{
    num = 0;

    assert(labelImg.empty() == false);
    assert(labelImg.type() == CV_32SC1);

    map<int, Scalar> colors;

    int rows = labelImg.rows;
    int cols = labelImg.cols;

    Mat colorLabelImg = Mat::zeros(rows, cols, CV_8UC3);

    uchar r = 255 * (rand()/(1.0 + RAND_MAX));
    uchar g = 255 * (rand()/(1.0 + RAND_MAX));
    uchar b = 255 * (rand()/(1.0 + RAND_MAX));

    for (int i = 0; i < rows; i++)
    {
        const int* data_src = (int*)labelImg.ptr<int>(i);
        uchar* data_dst = colorLabelImg.ptr<uchar>(i);
        for (int j = 0; j < cols; j++)
        {
            int pixelValue = data_src[j];
            if (pixelValue > 1)
            {
                if (colors.count(pixelValue) == 0)
                {
                    colors[pixelValue] = Scalar(b,g,r);
                    r = 255 * (rand()/(1.0 + RAND_MAX));
                    g = 255 * (rand()/(1.0 + RAND_MAX));
                    b = 255 * (rand()/(1.0 + RAND_MAX));
                    num++;
                }

                Scalar color = colors[pixelValue];
                *data_dst++   = color[0];
                *data_dst++ = color[1];
                *data_dst++ = color[2];
            }
            else
            {
                data_dst++;
                data_dst++;
                data_dst++;
            }
        }
    }
    return colorLabelImg;
}

int main()
{

    Mat binImage = imread("/media/jacob/存储盘2/图像资料/3.3 实验参考图像/rice.bmp", 0);
    threshold(binImage, binImage, 107, 1, CV_THRESH_BINARY);
    Mat labelImg;
    int num; //标记的数量
    labelImg = TwoPassLabel(binImage);

    //彩色显示
    Mat colorLabelImg;
    colorLabelImg = LabelColor(labelImg, num);
    cout << "total number of label：" << num << endl;
    imshow("colorImg", colorLabelImg);

    //灰度显示
    Mat grayImg;
    labelImg.convertTo(grayImg, CV_8UC1);
    imshow("grayImg", grayImg);

    waitKey(0);
    return 0;
}

结果

Beautiful ~~

Reference:
OpenCV实现图像连通组件标记与分析
OpenCV-二值图像连通域分析
数字图像处理技术 ——邓继忠（我的任课老师）