计算机视觉

第四章 特征检测与匹配

特征检测与匹配是诸多计算机视觉应用中的重要组成部分，目的是为了配准以建立复合图像，或者建立密集对应集合从而生成三维模型或中间视图。

有哪些特征？

为了在图像之间建立对应，有点和块特征（关键点特征又称角点特征），边缘特征，线段特征。

如何检测？

第五章  分割

图像分割是为了寻找相互匹配的像素组，在统计学中被称为聚类分析。

如何分割？

早期方法趋向于区域分裂与归并，基于活动轮廓和水平集，均值移位（模态发现），规范图割，二值马尔可夫随机场。

第六章     基于特征的配准

审视几何图像的配准问题，目的是验证匹配的特征是否在几何上一致，方法是基于2D和3D的变换，应用是摄像机标定（姿态估计和摄像机内标定的计算）。

第七章       由运动到结构

处理特征配准的逆问题，给出多幅图像特征的稀疏集合，估计3D点的位置。结构就是3D几何，运动就是摄像机的姿态。分为低层和高层结构的处理方法，低层即点结构，包括多台摄像机，单台摄像机，两帧和多帧。高层即线和面结构。

第八章        稠密运动估计

为了实现图像稳定化，视频序列中的图像配准和运动估计算法广泛运用于计算机视觉领域。对于配准，有图像注册算法，参数化运动估计方法。对于运动估计，有基于金字塔的由粗到精分层估计，使用傅里叶变换来加速计算。

第九章        图像拼接

配准图像并无缝拼合，如全景图，最关键的贡献是光束平差法，同时求解所有摄像机的位置坐标，从而得到满足全局一致性的结果。如今的算法需要提取稀疏特征集，能够满足较强的鲁棒性和较快的速度，并且能够全自动的拼接图象。

图像拼接中，首先确定一副图像中的像素坐标与另一副图像之间的数学模型，其次，需要估计相关联的图像对之间的配准参数，第四章有利于找到区分性特征，快速找到对应关系。

配准完成后，需要一个合成表面来卷绕已经配准的图像，之后需要一些剪裁和修补，还有其他一些镜头畸变，场景运动造成的影响。应用是将多幅图像拼接成宽视场场景图。

第十章 计算摄影学

计算摄影学用于生成用普通摄像机无法拍摄的图像，主要内容有光度学图像标定，高动态范围成像，改善图像分辨率，分离和粘合，精细纹理生成（空洞填充），非真实感绘制（照片变油画）。

第十一章    立体视觉对应

立体视觉匹配是通过寻找两幅或多幅图像间的匹配像素点，将它们从2D位置转化为3D深度，从而估计出场景的3D模型。为了构建更为完整的3D模型，引入了深度图的概念。涉及到应用立体视觉匹配来测量视差。

第十二章    3D重建

立体视觉仅是3D重建的视觉线索之一，还有其他关于由图像推测形状的线索。例如阴影和聚焦，将多个深度图像融合为3D模型。表面上的阴影可以提供很多关于局部表面方向甚至整体表面形状的信息。

第十三章     基于图像的绘制

基于图像的绘制让计算机能够根据一个场景多个视角的图像生成交互式的真实感体验。采用的方法有视图插值，层次深度图像，光场与发光图，环境影像形板，基于视频的绘制。

第十四章       识别

分析场景并识别场景中构成的物体而今看来依然是一个难题，识别很难，是因为场景中的物体之间常常出现不同的形态，并且会相互遮挡。

识别的主要内容有物体检测，人脸识别，示例识别。

最有挑战性的问题是一般类别的识别，关键在于学习算法。

第十五章    总结

从图像形成开始，看到了对图像的预处理，去除噪声和模糊，分割为区域和转换为特征描述子，然后匹配和注册更多图像，将其结果用于运动估计，人体跟踪，3D重建和图像融合，也可分析图像产生特定的语义描述。