拼接
全局对齐（global alignment）
2007 年 Autostitch，使用一个全局单应性矩阵对齐两幅图像。
单应性矩阵：描述了两个平面间的映射关系。
落地的软件、应用：openCV stitcher、微软 ICE、Photoshop 拼接工具。
要求（局限）：
- 两张图片近似在一个平面；
- 两次拍摄的相机光心近乎重合；
解决方法：
- 用广角镜头，使相机光心重合；
- 普通相机多次拍摄，合成类似广角镜头的效果。
空域变化绘制（spatiall-varying warping）
2013 年 APAP，划分网格，局部单应性矩阵。
公开了 MATLAB 代码
缝合线主导（seam-driven）
2014 年 parallax-tolerant，网格优化，添加约束项，每个局部单应性矩阵互相独立单独优化，具有更大的自由度。
后两种方案的缺点：
- 计算速度慢：由一个矩阵扩展为多个矩阵；
- 更多的超参数：各约束项之间的相对权重需要调整，虽然超参数可以让我们根据实际需求自行调节，但我们还是乐于看到参数自适应选择（不需要调参），鲁棒性好的方法；
- 内点要求更高：对匹配特征内点的数量和质量要求都更高，最理想情况是：匹配特征内点能较密集的均匀分布在重叠区域。
解决方法：
- 线特征作为点特征的补充；
- 自动识别未对齐区域；
深度学习与图像拼接的结合：通过 CNN 做到特征内点密集、均匀分布于重叠区域。但仅目前来看，CNN 在产品落地难度还是非常非常大的，实时检测和拼接基本不做奢望。
分割
传统方案
2000 年 之前，阈值法、边界检测法、区域法。
超像素
2000 年左右
将具有相似特征的像素分组，使得图像块包含单个像素不具备的图像内容信息，并提高了后续处理任务的效率。
- 基于图论：使用带权无向图，像素信息对应顶点属性，像素间的相似性对应边的权值。将图像分割问题转换成图的划分问题，通过对目标函数的最优化求解，完成图像分割过程。
- 基于聚类，根据图像中的单个像素及像素间的相互信息，如：颜色、亮度、纹理等，利用聚类算法，将具有相近特征的相邻像素聚到同一个图像块。不断迭代修正聚类结果，直至收敛，从而形成图像分割结果。
有监督、弱监督
2010 年左右
- 基于分类
将图像的分割问题看作是图像单个像素的分类问题，通过从图像中提取像素级特征，使用分类器进行逐像素分类，从而实现图像分割。分类方法是有监督的机器学习算法，需要大量的标注数据作为训练样本，以训练 SVM、LR、NN 等分类器。事实上，这样的像素级的图像标注费时费力，因此样本非常稀少。
QEM：利用了图像各颜色通道之间的关联，具有较好的鲁棒性，算法运行速度较快。
FCN：融合图像局部和全局信息，实现端到端的像素级图像分割。
Zoom-out：利用 CNN 提取图像多级别特征，使用融合特征进行像素分类，实现图像分割。
- 结合分类和聚类
聚类方法是一种无监督的学习算法，无须标注图像作为训练样本，因此结合二者的优势。
- 使用聚类算法生成初始化目标候选区域集；
- 使用分类算法对各区域进行描述、分类；
- 根据区域分类结果构建全图标注，完成图像分割。
O2P：使用二阶池化方法描述特征，使用线性 SVM 分类，分割效果好，速度较快。
SDS：融合区域前景和最小外接矩形提取特征，使用 CNN 提取图像特征，利用 NMS 提升分割效果。
R-CNN：使用区域 CNN 提取图像特征，定位并分割物体。提出在标注样本稀少的情况下使用深度网络的方法。
未来趋势：
- 平衡边界贴合度、算法复杂度的矛盾。即：探寻性能良好，算法复杂度低的超像素算法；
- 基于弱标注信息的语义分割方法。现在主要是像素级的强标注；
- 针对特定应用场景的图像分割问题。医学、地质、遥感；
- 交互式图像分割方法。在分割过程中利用少量的用户交互信息，可以有效提升图像分割效果；
- 针对多维图像的图像分割方法。RGB-D、视频分割。
网友评论