我为什么要写这篇笔记

写在前面：关于为何要写这个笔记？

关于学习与遗忘，在考完这门课后，我还能记得些什么呢？
引用mbinary的文章：https://mbinary.xyz/learning-and-forgetting.html

http://www.ishenping.com/ArtInfo/257070.html

1.举例解释连通悖论
2.给了两个模板，求相应的连续算子是什么（其中一个是拉普拉斯算子）（考点：离散空域滤波模板与线性算子对应关系）；sobel算子拓展原理，以及拓展后的优势
3.简述canny算子和susan算子的步骤
4.求共生矩阵以及chanmfer distance
5.给了一副有噪声的图像以及处理后的图新，问如何利用数学形态学方法实现
6.sift描述子的维数如何定义及各维数的含义，shape context描述子的维数如何定义及各维数的含义
7.sift描述子如何实现平移，旋转不变性，尺度不变性，亮度不变性；如何进行坐标变换实现平移、旋转、尺度不变性
8.水平集图像分割基本思想；PPT上演化方程的推导
9.求链码和形状数
10.二维光流方程推导

各章重点：

综合性质：

• 几个旋转不变
• 计算复杂度

2、采样量化，距离和范数，联通。DFT的不变性质？拉普拉斯算子推导。几种常用滤波器的关系和性质。
3、离散距离变换，和后面chamer distance一起考
4、各种算子，共6个。
5、水平集推导
6、这里的模板匹配和后边的chamer distance 有什么不同吗？ 霍夫变换
7、

https://blog.csdn.net/sunshine_lyn/article/details/85400015

先来看一下整体的课程安排。

• 第二章：相关图像基础。
• 第三章：图像数字化
• 第四章：边缘检测
• 第五章：图像分割
• 第六章：模板匹配
• 第七章：目标表达
• 第八章：目标描述
• 第九章：局部视觉特征
• 第十章：形状分析
• 第十一章：纹理分析
• 第十二章：二值形态学
• 第十三章：运动分析

还有一点是各种复杂度的计算，比如Kmeans复杂度的计算。

第二章：相关数字图像基础

考试要点：

• 图像增强与图像恢复之间的联系与区别

• 采样与量化。

• 理解邻接、连接与连通

• 距离与范数之间的联系与对应关系。

• 离散傅里叶变换的性质，空域变化对应的频域变换

• 图像增强的方法，直方图修正，锐化，平滑，伪彩色。

• 图像修复的基本模型，常用滤波器之间的关系，对图像有何定性影响。

第三章：数字化图像

• 两种量化方法：方盒量化和基于区域覆盖的量化？？？基本原理和不一致性，适应程度。

• 数字弦和紧致弦 判别方法。

• 距离变换的定义，参考点到集合的而距离的串行和并行实现？

第四章：边缘检测

• 边缘模型
• 边缘检测算子

第五章：图像分割

• 阈值分割
• 区域生长法
• 分裂合并
• 分水岭算法
• 聚类分割算法
• 主动轮廓分割
• GC图割

第六章：模板匹配

• 相似度量：相关系数、平均交互信息量、不变矩
• 分层搜索
• hough变换

第七章：目标表达

• 基于边界的表达：连码、多边形近似
• 基于区域的表达：四叉树、骨架
• 基于变换的表达：

第八章：简单目标描述：

• 基于边界的描述
• 基于区域的描述
• 对目标关系的描述

第九章：基于局部视觉特征的图像表达

• 局部视觉特征描述
• 特征编码与聚合

第十章：形状分析

• 关于形状的讨论
• 联通悖论、上下文形状

第十一章：纹理分析

第十二章：二值形态学

• 掌握击中击不中变换就可以了

第十三章：运动分析

• 相机的运动模型
• 二义性
• 几种运动表达
• 运动估计的四个准则

详细复习信息

第二章：相关数字图像基础

考试要点：

• 图像增强与图像恢复之间的联系与区别

图像增强：指对图像进行加工，以使得视觉效果更好，改进输入图像的视觉质量的技术和过程。
图像恢复：基于图像退化的模型和知识重建或恢复原始的图像。

图像恢复与增强的目的类似，也是只在改善图像的质量。图像恢复是力求保持图像的本来面目，即以保真原则为其前提，这是区别于增强的基本不同点。

• 采样与量化。

图像空间坐标的离散化叫做空间采样，幅度的离散化叫做幅度量化。

采样与量化的基本公式：

• 理解邻接、连接与连通

邻接只考虑相邻像素之间的空间关系，连接除了考虑相邻像素之间的空间关系之外，还要考虑灰度值是否接近。

连通是连接的扩展，连接是联通的一种特例。

• 距离与范数之间的联系与对应关系。

距离度量函数分为欧式距离，城区距离，棋盘距离，分别对应二范数，一范数，无穷范数。

• 离散傅里叶变换的性质，空域变化对应的频域变换
  相加，平移、旋转、缩放（比例）、卷积

• 图像增强的方法，直方图修正，锐化，平滑，伪彩色。
  直方图修正包括直方图均衡和直方图匹配。
  直方图均衡可以看做目标直方图为均匀直方图的匹配。
  直方图匹配的三个步骤：1、对原始直方图进行灰度均衡化2、规定需要的直方图，计算能使规定直方图均衡化的变换3、讲原始直方图对应映射到规定直方图。

锐化：频域锐化、空域锐化
空域锐化：高通滤波器，常见的巴特沃斯滤波器，指数型高通滤波器，梯形高通滤波器。

空域卷积：说白了就是求梯度，并且用梯度的膜代替梯度。记一下典型的差分算子。Roberts，sobel。拉普拉斯算子如何过渡到模板的。

平滑：空间频率域低通滤波（同上）；空间域法：拒不平均、中值滤波、多针平均。定性分析影响。
中值滤波可以去除椒盐噪声。

• 图像修复的基本模型，常用滤波器之间的关系，对图像有何定性影响。

线性位移不变系统加性噪声。
椒盐噪声、瑞丽噪声、高斯噪声、指数噪声。

几种常用滤波器：平均，几何平均、调和平均，反调和平均
几何平均滤波器的平滑效果与算数平均相当，但损失的图像细节较少。缺点，计算复杂度高。
算数均值和几何均值都能衰减噪声，但是几何均值滤波器模糊程度较弱。
调和均值滤波器对盐噪声效果较好，但是不适合处理椒噪声，对其他噪声如高斯噪声也有较好的效果。
反调和平均，当Q为正数，适合消除椒噪声，Q为负数，适合消除盐噪声。Q=0，退化为算数平均滤波器，Q=-1退化为谐波均值滤波器。
算数平均和几何平均适合处理高斯噪声。

• 双向线性插值公式

第三章：数字化图像

• 两种量化方法：方盒量化和基于区域覆盖的量化？？？基本原理和不一致性，适应程度。

感觉理解了。
不一致性体现在：一个非空集合S有可能映射到一个空的数字化集合中。
该数字化模型不是平移不变。
给定给一个数字化集合P并不能保证精确地刻画它的预图像S。

• 数字弦和紧致弦 判别方法。
• 距离变换的定义，参考点到集合的距离的串行和并行实现？

距离变化计算区域中的每个点与最接近的区域外的点之间距离，把二值图像变换为灰度图像。

第四章：边缘检测

• 边缘模型：其原图像，剖面、一二阶导数。
• 描述边缘的参数：位置，朝向，幅度，均值，斜率。
• 边缘检测算子：
  正交梯度算子（一阶差分算子，sobel），方向微分算子（难道这里算sobel的扩展吗），拉普拉斯算子（二阶），马尔算子，canny算子，SUSAN算子。

拉普拉斯：模板中心像素的系数是正的，中心邻近的为负，所有系数和为零。
0 -1 0
-1 4 -1
0 -1 0
还有-1 8 那个

马尔算子:先平滑再拉普拉斯
（1）用一个2D的高斯平滑图像卷积
（2）计算卷积后图像的拉普拉斯值
（3）检测拉普拉斯图像中的过零点作为边缘点

Canny算子
i. 高斯滤波器平滑图像，减轻噪声
ii. 检测滤波图像中灰度梯度的大小和方向（可用索贝尔算子）
iii. 非极大抑制。细化借助梯度检测得到的边缘像素所构成的边界
iv. 双阈值检测和连接。选两个阈值使用滞后阈值化方法。先标记梯度大于高阈值的边缘像素，再对与这些像素相连的像素使用低阈值（认为梯度大于低阈值、且与大于高阈值像素邻接的像素也是边缘像素）

SUSAN算子处理边缘，叙述原理

选用一个USAN模板，模板包括核和面积。

USAN面积作为特征起到了增强边缘和角点的效果。
susan算子的原理：检测对模板中的每一个像素进行，得到输出的游程和，边缘响应.
susan 边缘检测有噪声的时候性能好，化微分为积分，具有非线性响应特点，参数的任意性较小。

第五章：图像分割

• 阈值分割

• 区域生长法

• 分裂合并

• 分水岭算法

• 聚类分割算法

• 主动轮廓分割

• GC图割

1、阈值分割，区域生长法，分裂合并法
2 分水岭分割算法，聚类分割算法
3 水平集分割的基本思想和优势，从曲线演化到水平集演化推导，

水平集分割的基本优势：
主动轮廓模型的优势：
易于对目标进行描述；
亚像素的精度；易于融入各种信息，如形状先验信息，运动信息等；
具有成熟的数学工具，变分法，PDE，微分几何等。

首先建立符号距离函数。
然后建立曲线演化方程。F为速度函数，N为曲线C的法向量。
然后推算出水平集演化方程。

水平集方法的步骤，初始化，演化水平及函数，重新初始化，收敛。

利用变分法和梯度下降法推导演化方程；如何基于演化实现图像

定义变分能量函数。
对能量函数求梯度。
基于梯度下降算法，得到演化方程。

分割
4 Graph Cut 分割的基本思想

图割：基于图像定义某种能量函数，能量函数的最小值对应着一种期望的分割。

最小代价的cut可以以多项式时间复杂度得到（最大流，最小割方法）

图割算法压根没有看懂。

第六章：模板匹配

• 相似度量：相关系数、平均交互信息量、不变矩

相关系数其实就是相关矩阵，两个模板相乘然后进行归一化。但存在问题：相关函数曲线的峰值不尖锐或者被噪声掩盖，由于是滑动所以运算量比较大：每个候选位置m*m，共n个候选位置，不具有尺度和旋转不变性。

平均交互信息忽略了空间的相关性，利用联合概率密度以及独立概率密度来进行匹配。我理解的是直方图匹配，不知道对不对。

不变矩，是被测图像和模板中灰度分布特性的度量，是以坐标为权值的灰度积分。不变矩具有位移旋转和缩放不变形。

• 分层搜索，模板m，图像尺寸n，常规算法需要对图像进行相关的[(N-M)+1]2
  简而言之，使用金字塔街头，每层的搜索点数下降成[(N-M)/2L+1]2
  分层搜索中阈值选取和分层的层数需要注意。

• hough变换

霍夫变换的极坐标形式表达，以及检测圆的形式表达。

霍夫变换的改进应该不用看了 把。

广义霍夫变换直接忽略。

第七章：目标表达

• 基于边界的表达：连码、多边形近似

边界表达分为边界点集合、参数边界和曲线逼近。
边界点结合有标志点（我理解为原始的点集合），参数边界主要有链码、边界段和标记，曲线逼近有多边形。

主要看链码：方向链码：

起点归一化：讲链码看做由方向数构成的自然数，选取值最小的自然数顺序
旋转归一化：利用链码的一阶差分
链码平滑：去噪

凸包啥的讲的就不明白，应该不考。

多边形近似的分裂和聚合算法：分裂自上而下，先链接边界上相聚最远的两个点，几把边界分成两部分，然后根据一定的准则分解边界，构成多边形逼近边界。
聚合算法，先选一个边界点为起点，用直线依次连接该店与相邻的边界点，直至拟合误差超过某个限度。然后以线段的另一端为起点继续链接边界点，直至绕边界一周。

• 基于区域的表达：四叉树、骨架

区域表达分为区域分解、围绕区域和内部特征。
区域分解只有四叉树，围绕区域有外接盒和最小包围长方形和凸包，内部特征有骨架。

四叉树基本思想：每次将图像一分为4。编码方式与金字塔相同。
根据位置编码可以计算出该像素的位置。

数据块的大小是，k为0码的个数。同一父节点的四块相邻。

常见的骨架，如圆，正方形，正方形到圆的骨架的变换。

• 基于变换的表达：

怎么对图像进行预处理使得傅里叶描述子不变？

今晚把第789章看完，明天上午10,11,12。下午13开始总体查缺补漏！

第八章：简单目标描述：

• 基于边界的描述

举出联通悖论的例子。

形状数：轮廓差分码中其值最小的一个序列。

形状书的阶是形状数字的长度，闭合曲线阶是偶数，凸区域形状数的阶N对应区域外包矩形的周长(m+n)*2。

给定一个形状，如何求取形状数。

边界矩一带而过。

• 基于区域的描述
  简单区域描述符：就是最简单的基于区域描述，没有其他的，非常细节的东西略过没讲。

拓扑描述符：基于欧拉数的组合，研究生用的很少。

不变矩：前面讲过。所谓p+q阶矩，就是把坐标的P次方和像素值相乘后求和。还有p+q中心矩是去均值的，归一化的中心距是归一化的。哪些方法可以实现不变性？貌似看起来各种T1到T7都具有不变性。

• 对目标关系的描述
  这里老师没怎么讲。

第九章：基于局部视觉特征的图像表达

6.sift描述子的维数如何定义及各维数的含义，shape context描述子的维数如何定义及各维数的含义
7.sift描述子如何实现平移，旋转不变性，尺度不变性，亮度不变性；如何进行坐标变换实现平移、旋转、尺度不变性

• 图像表达基本框架
  局部特征提取--特这编码--局部特征聚合

• 局部视觉特征描述

局部关键点检测：
harris：harris整体的推导。基本原理：给定一个窗口，在角点上，该窗口超任何一个方向移动窗口，都会使得窗口内的内容（能量）发生较大变化。

定义能量函数：
对其泰勒展开：
略去高阶项，把偏导表示成矩阵形式，用泰勒展开的式子去减原式，发现只剩下导数项，然后把式子表示为矩阵形式，得到海森矩阵，求取海森矩阵的特征值。根据特征向量的大小来进行判断是否为角点。
harris角点检测具有角度不变性，但不具有尺度不变性。

LOG和DOG可以近似。LOG是对高斯求二阶导，然后用得到的模板进行滤波。DOG是用不同sigma的高斯模板进行滤波，然后想减。

DOG图像金字塔的概念：octave。

SURF监测子是专利规避，不用看。

MSER检测子（最大稳定极值区域）。基本思想：从低阈值开始分割，不断提高阈值。

浮点型描述子：SIFT、GLOH、SURF、LIOP
sift，sift统计的是相对的量，本质还是梯度的应用。与绝对量没有关系。
主要包括以下步骤：dog空间的极值检测，删除不稳定的极值点，确定特征点的主方向，生成特征点的描述子。

如果将图像取反，那么sift描述子相比于原图会如何变化？取反之后，梯度方向会变成相反方向，所以主方向也会变成相反方向，生成的特征点的描述子。

问题：sift描述子的具体过程。

• 特征编码与聚合

考完一段时间了，考题回忆：

写了一段，发现有个老哥已经总结完了。。
https://blog.csdn.net/qq_35172135/article/details/90413475