OCR，全名为Optical Character Recognition，是指对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程。

识别的过程大致可以分为这些过程：图像的预处理（二值化、噪声去除、倾斜校正），字符的切割（如识别各种文字）、字符的识别。

本文就来总结一下OCR箱体边框识别的一些心得。采用传统的python+opencv方法。

1 预处理

由于拍的照片有光线的干扰，并且拍摄箱体的表面有很多颗粒，并不是很光滑，所以图像处理的第一步便是预处理。

1.1 均值漂移（MeanShift）

这个方法将图像的特征空间视为先验概率密度函数，输入被视作满足某种概率分布的样本点，这样图像中数据最密集的地方，对应于密度最大的地方，概率密度的质心被视作概率密度函数的局部最优值，也就是聚类的中心，对于每一个样本点，计算以它为中心的某个范围内所有样本点的均值，作为新的中心（这就是shift既中心的移动），移动直至收敛。这样每一轮迭代，中心都会向数据更密集的地方移动，直到最后稳定收敛到样本的“质心”。用这个方法，可以使得图像变得更加平滑。在python中，实现的代码如下：

均值漂移函数

第一个参数是source image，第二个参数dst，输出图像，跟输入src有同样的大小和数据格式，第三个参数sp，定义的漂移物理空间半径大小，第四个参数sr，定义的漂移色彩空间半径大小，第五个参数maxLevel，定义金字塔的最大层数，第六个参数termcrit，定义的漂移迭代终止条件，可以设置为迭代次数满足终止，迭代目标与中心点偏差满足终止，或者两者的结合。在这里物理空间半径为25，色彩空间半径为10。

1.2 图像的灰度归一化

由于光照对图像的影响依然很大，这有可能会影响接下去的图像二值化的效果。归一化可以通过一系列变换消除其他变换函数对图像变换的影响，也就是转换成唯一标准的形式，这里为了使灰度图的像素值分布能够比较均匀，找到像素的最大值和最小值，然后将所有的像素值拉成0-255之间的像素值，即图像灰度归一化。

1.3 直方图均值化

opencv 里有个函数是cv2.equalizeHist,在某些情况下，一副图像中大部分像素的强度都集中在某一区域，而质量较高的图像中，像素的强度应该均衡的分布。为此，可将表示像素强度的直方图进行拉伸，将其平坦化。

2 图像的二值化

opencv里面有很多二值化的方法，这里比较简单的方法是对灰度图的像素值进行遍历，设置一个阈值，若大于该阈值且小于255，则设为0（黑色）。

3 识别检测（检测矩形和直线）

在计算机视觉中，轮廓检测能够检测出我们感兴趣的区域，如：计算多边形的边界、形状逼近和计算感兴趣的区域。这里，对于图像中的标签区域，我的思路是先检测图像中的所有轮廓，然后对于轮廓内的所有面积，计算面积的大小和夹角（因为这里标签的形状近似为一个矩形）。

3.1 检测矩形

在opencv中有个方法，叫cv2.findContours，

第一个参数是寻找轮廓的图像；

第二个参数表示轮廓的检索模式，有四种（本文介绍的都是新的cv2接口）：

cv2.RETR_EXTERNAL表示只检测外轮廓

cv2.RETR_LIST检测的轮廓不建立等级关系

cv2.RETR_CCOMP建立两个等级的轮廓，上面的一层为外边界，里面的一层为内孔的边界信息。如果内孔内还有一个连通物体，这个物体的边界也在顶层。

cv2.RETR_TREE建立一个等级树结构的轮廓。

第三个参数method为轮廓的近似办法

cv2.CHAIN_APPROX_NONE存储所有的轮廓点，相邻的两个点的像素位置差不超过1，即max（abs（x1-x2），abs（y2-y1））==1

cv2.CHAIN_APPROX_SIMPLE压缩水平方向，垂直方向，对角线方向的元素，只保留该方向的终点坐标，例如一个矩形轮廓只需4个点来保存轮廓信息

cv2.CHAIN_APPROX_TC89_L1，CV_CHAIN_APPROX_TC89_KCOS使用teh-Chinl chain 近似算法.

返回值contour为所有轮廓的集合，hierarchy包含轮廓的属性。这里我采用cv2.contourArea，还有cv2.boundingRect找边框特别好用。

3.2 检测直线

最直接的方法是霍夫曼直线检测，在图像预处理之后，个人觉得cv2.HoughLinesP比cv2.HoughLines更加好用，采用投票的方式检测出所有投票最高的直线，由于生成的直线比较多，所以还得做一个直线拟合，最终得到一条直线。

结果：