写在前面：关于为何要写这个笔记？
关于学习与遗忘，在考完这门课后，我还能记得些什么呢？
引用mbinary的文章：https://mbinary.xyz/learning-and-forgetting.html
http://www.ishenping.com/ArtInfo/257070.html
1.举例解释连通悖论
2.给了两个模板，求相应的连续算子是什么（其中一个是拉普拉斯算子）（考点：离散空域滤波模板与线性算子对应关系）；sobel算子拓展原理，以及拓展后的优势
3.简述canny算子和susan算子的步骤
4.求共生矩阵以及chanmfer distance
5.给了一副有噪声的图像以及处理后的图新，问如何利用数学形态学方法实现
6.sift描述子的维数如何定义及各维数的含义，shape context描述子的维数如何定义及各维数的含义
7.sift描述子如何实现平移，旋转不变性，尺度不变性，亮度不变性；如何进行坐标变换实现平移、旋转、尺度不变性
8.水平集图像分割基本思想；PPT上演化方程的推导
9.求链码和形状数
10.二维光流方程推导
各章重点：
综合性质：
- 几个旋转不变
- 计算复杂度
2、采样量化，距离和范数，联通。DFT的不变性质？拉普拉斯算子推导。几种常用滤波器的关系和性质。
3、离散距离变换，和后面chamer distance一起考
4、各种算子，共6个。
5、水平集推导
6、这里的模板匹配和后边的chamer distance 有什么不同吗？ 霍夫变换
7、
https://blog.csdn.net/sunshine_lyn/article/details/85400015
先来看一下整体的课程安排。
- 第二章：相关图像基础。
- 第三章：图像数字化
- 第四章：边缘检测
- 第五章：图像分割
- 第六章：模板匹配
- 第七章：目标表达
- 第八章：目标描述
- 第九章：局部视觉特征
- 第十章：形状分析
- 第十一章：纹理分析
- 第十二章：二值形态学
- 第十三章：运动分析
还有一点是各种复杂度的计算，比如Kmeans复杂度的计算。
第二章：相关数字图像基础
考试要点：
图像增强与图像恢复之间的联系与区别
采样与量化。
理解邻接、连接与连通
距离与范数之间的联系与对应关系。
离散傅里叶变换的性质，空域变化对应的频域变换
图像增强的方法，直方图修正，锐化，平滑，伪彩色。
图像修复的基本模型，常用滤波器之间的关系，对图像有何定性影响。
第三章：数字化图像
两种量化方法：方盒量化和基于区域覆盖的量化？？？基本原理和不一致性，适应程度。
数字弦和紧致弦 判别方法。
距离变换的定义，参考点到集合的而距离的串行和并行实现？
第四章：边缘检测
- 边缘模型
- 边缘检测算子
第五章：图像分割
- 阈值分割
- 区域生长法
- 分裂合并
- 分水岭算法
- 聚类分割算法
- 主动轮廓分割
- GC图割
第六章：模板匹配
- 相似度量：相关系数、平均交互信息量、不变矩
- 分层搜索
- hough变换
第七章：目标表达
- 基于边界的表达：连码、多边形近似
- 基于区域的表达：四叉树、骨架
- 基于变换的表达：
第八章：简单目标描述：
- 基于边界的描述
- 基于区域的描述
- 对目标关系的描述
第九章：基于局部视觉特征的图像表达
- 局部视觉特征描述
- 特征编码与聚合
第十章：形状分析
- 关于形状的讨论
- 联通悖论、上下文形状
第十一章：纹理分析
第十二章：二值形态学
- 掌握击中击不中变换就可以了
第十三章：运动分析
- 相机的运动模型
- 二义性
- 几种运动表达
- 运动估计的四个准则
详细复习信息
第二章：相关数字图像基础
考试要点：
- 图像增强与图像恢复之间的联系与区别
图像增强：指对图像进行加工，以使得视觉效果更好，改进输入图像的视觉质量的技术和过程。
图像恢复：基于图像退化的模型和知识重建或恢复原始的图像。
图像恢复与增强的目的类似，也是只在改善图像的质量。图像恢复是力求保持图像的本来面目，即以保真原则为其前提，这是区别于增强的基本不同点。
- 采样与量化。
图像空间坐标的离散化叫做空间采样，幅度的离散化叫做幅度量化。
采样与量化的基本公式：
- 理解邻接、连接与连通
邻接只考虑相邻像素之间的空间关系，连接除了考虑相邻像素之间的空间关系之外，还要考虑灰度值是否接近。
连通是连接的扩展，连接是联通的一种特例。
- 距离与范数之间的联系与对应关系。
距离度量函数分为欧式距离，城区距离，棋盘距离，分别对应二范数，一范数，无穷范数。
离散傅里叶变换的性质，空域变化对应的频域变换
相加，平移、旋转、缩放（比例）、卷积图像增强的方法，直方图修正，锐化，平滑，伪彩色。
直方图修正包括直方图均衡和直方图匹配。
直方图均衡可以看做目标直方图为均匀直方图的匹配。
直方图匹配的三个步骤：1、对原始直方图进行灰度均衡化2、规定需要的直方图，计算能使规定直方图均衡化的变换3、讲原始直方图对应映射到规定直方图。
锐化：频域锐化、空域锐化
空域锐化：高通滤波器，常见的巴特沃斯滤波器，指数型高通滤波器，梯形高通滤波器。
空域卷积：说白了就是求梯度，并且用梯度的膜代替梯度。记一下典型的差分算子。Roberts，sobel。拉普拉斯算子如何过渡到模板的。
平滑：空间频率域低通滤波（同上）；空间域法：拒不平均、中值滤波、多针平均。定性分析影响。
中值滤波可以去除椒盐噪声。
- 图像修复的基本模型，常用滤波器之间的关系，对图像有何定性影响。
线性位移不变系统加性噪声。
椒盐噪声、瑞丽噪声、高斯噪声、指数噪声。
几种常用滤波器：平均，几何平均、调和平均，反调和平均
几何平均滤波器的平滑效果与算数平均相当，但损失的图像细节较少。缺点，计算复杂度高。
算数均值和几何均值都能衰减噪声，但是几何均值滤波器模糊程度较弱。
调和均值滤波器对盐噪声效果较好，但是不适合处理椒噪声，对其他噪声如高斯噪声也有较好的效果。
反调和平均，当Q为正数，适合消除椒噪声，Q为负数，适合消除盐噪声。Q=0，退化为算数平均滤波器，Q=-1退化为谐波均值滤波器。
算数平均和几何平均适合处理高斯噪声。
- 双向线性插值公式
第三章：数字化图像
- 两种量化方法：方盒量化和基于区域覆盖的量化？？？基本原理和不一致性，适应程度。
感觉理解了。
不一致性体现在：一个非空集合S有可能映射到一个空的数字化集合中。
该数字化模型不是平移不变。
给定给一个数字化集合P并不能保证精确地刻画它的预图像S。
- 数字弦和紧致弦 判别方法。
- 距离变换的定义，参考点到集合的距离的串行和并行实现？
距离变化计算区域中的每个点与最接近的区域外的点之间距离，把二值图像变换为灰度图像。
第四章：边缘检测
- 边缘模型：其原图像，剖面、一二阶导数。
- 描述边缘的参数：位置，朝向，幅度，均值，斜率。
- 边缘检测算子：
正交梯度算子（一阶差分算子，sobel），方向微分算子（难道这里算sobel的扩展吗），拉普拉斯算子（二阶），马尔算子，canny算子，SUSAN算子。
拉普拉斯：模板中心像素的系数是正的，中心邻近的为负，所有系数和为零。
0 -1 0
-1 4 -1
0 -1 0
还有-1 8 那个
马尔算子:先平滑再拉普拉斯
（1）用一个2D的高斯平滑图像卷积
（2）计算卷积后图像的拉普拉斯值
（3）检测拉普拉斯图像中的过零点作为边缘点
Canny算子
i. 高斯滤波器平滑图像，减轻噪声
ii. 检测滤波图像中灰度梯度的大小和方向（可用索贝尔算子）
iii. 非极大抑制。细化借助梯度检测得到的边缘像素所构成的边界
iv. 双阈值检测和连接。选两个阈值使用滞后阈值化方法。先标记梯度大于高阈值的边缘像素，再对与这些像素相连的像素使用低阈值（认为梯度大于低阈值、且与大于高阈值像素邻接的像素也是边缘像素）
SUSAN算子处理边缘，叙述原理
选用一个USAN模板，模板包括核和面积。
USAN面积作为特征起到了增强边缘和角点的效果。
susan算子的原理：检测对模板中的每一个像素进行，得到输出的游程和，边缘响应.
susan 边缘检测有噪声的时候性能好，化微分为积分，具有非线性响应特点，参数的任意性较小。
第五章：图像分割
阈值分割
区域生长法
分裂合并
分水岭算法
聚类分割算法
主动轮廓分割
GC图割
1、阈值分割，区域生长法，分裂合并法
2 分水岭分割算法，聚类分割算法
3 水平集分割的基本思想和优势，从曲线演化到水平集演化推导，
水平集分割的基本优势：
主动轮廓模型的优势：
易于对目标进行描述；
亚像素的精度；易于融入各种信息，如形状先验信息，运动信息等；
具有成熟的数学工具，变分法，PDE，微分几何等。
首先建立符号距离函数。
然后建立曲线演化方程。F为速度函数，N为曲线C的法向量。
然后推算出水平集演化方程。
水平集方法的步骤，初始化，演化水平及函数，重新初始化，收敛。
利用变分法和梯度下降法推导演化方程；如何基于演化实现图像
定义变分能量函数。
对能量函数求梯度。
基于梯度下降算法，得到演化方程。
分割
4 Graph Cut 分割的基本思想
图割：基于图像定义某种能量函数，能量函数的最小值对应着一种期望的分割。
最小代价的cut可以以多项式时间复杂度得到（最大流，最小割方法）
图割算法压根没有看懂。
第六章：模板匹配
- 相似度量：相关系数、平均交互信息量、不变矩
相关系数其实就是相关矩阵，两个模板相乘然后进行归一化。但存在问题：相关函数曲线的峰值不尖锐或者被噪声掩盖，由于是滑动所以运算量比较大：每个候选位置m*m，共n个候选位置，不具有尺度和旋转不变性。
平均交互信息忽略了空间的相关性，利用联合概率密度以及独立概率密度来进行匹配。我理解的是直方图匹配，不知道对不对。
不变矩，是被测图像和模板中灰度分布特性的度量，是以坐标为权值的灰度积分。不变矩具有位移旋转和缩放不变形。
- 分层搜索，模板m，图像尺寸n，常规算法需要对图像进行相关的[(N-M)+1]2
简而言之，使用金字塔街头，每层的搜索点数下降成[(N-M)/2L+1]2
分层搜索中阈值选取和分层的层数需要注意。
- hough变换
霍夫变换的极坐标形式表达，以及检测圆的形式表达。
霍夫变换的改进应该不用看了 把。
广义霍夫变换直接忽略。
第七章：目标表达
- 基于边界的表达：连码、多边形近似
边界表达分为边界点集合、参数边界和曲线逼近。
边界点结合有标志点（我理解为原始的点集合），参数边界主要有链码、边界段和标记，曲线逼近有多边形。
主要看链码：方向链码：
起点归一化：讲链码看做由方向数构成的自然数，选取值最小的自然数顺序
旋转归一化：利用链码的一阶差分
链码平滑：去噪
凸包啥的讲的就不明白，应该不考。
多边形近似的分裂和聚合算法：分裂自上而下，先链接边界上相聚最远的两个点，几把边界分成两部分，然后根据一定的准则分解边界，构成多边形逼近边界。
聚合算法，先选一个边界点为起点，用直线依次连接该店与相邻的边界点，直至拟合误差超过某个限度。然后以线段的另一端为起点继续链接边界点，直至绕边界一周。
- 基于区域的表达：四叉树、骨架
区域表达分为区域分解、围绕区域和内部特征。
区域分解只有四叉树，围绕区域有外接盒和最小包围长方形和凸包，内部特征有骨架。
四叉树基本思想：每次将图像一分为4。编码方式与金字塔相同。
根据位置编码可以计算出该像素的位置。
数据块的大小是，k为0码的个数。同一父节点的四块相邻。
常见的骨架，如圆，正方形，正方形到圆的骨架的变换。
- 基于变换的表达：
怎么对图像进行预处理使得傅里叶描述子不变？
今晚把第789章看完，明天上午10,11,12。下午13开始总体查缺补漏！
第八章：简单目标描述：
- 基于边界的描述
举出联通悖论的例子。
形状数：轮廓差分码中其值最小的一个序列。
形状书的阶是形状数字的长度，闭合曲线阶是偶数，凸区域形状数的阶N对应区域外包矩形的周长(m+n)*2。
给定一个形状，如何求取形状数。
边界矩一带而过。
- 基于区域的描述
简单区域描述符：就是最简单的基于区域描述，没有其他的，非常细节的东西略过没讲。
拓扑描述符：基于欧拉数的组合，研究生用的很少。
不变矩：前面讲过。所谓p+q阶矩，就是把坐标的P次方和像素值相乘后求和。还有p+q中心矩是去均值的，归一化的中心距是归一化的。哪些方法可以实现不变性？貌似看起来各种T1到T7都具有不变性。
- 对目标关系的描述
这里老师没怎么讲。
第九章：基于局部视觉特征的图像表达
6.sift描述子的维数如何定义及各维数的含义，shape context描述子的维数如何定义及各维数的含义
7.sift描述子如何实现平移，旋转不变性，尺度不变性，亮度不变性；如何进行坐标变换实现平移、旋转、尺度不变性
图像表达基本框架
局部特征提取--特这编码--局部特征聚合局部视觉特征描述
局部关键点检测：
harris：harris整体的推导。基本原理：给定一个窗口，在角点上，该窗口超任何一个方向移动窗口，都会使得窗口内的内容（能量）发生较大变化。
定义能量函数：
对其泰勒展开：
略去高阶项，把偏导表示成矩阵形式，用泰勒展开的式子去减原式，发现只剩下导数项，然后把式子表示为矩阵形式，得到海森矩阵，求取海森矩阵的特征值。根据特征向量的大小来进行判断是否为角点。
harris角点检测具有角度不变性，但不具有尺度不变性。
LOG和DOG可以近似。LOG是对高斯求二阶导，然后用得到的模板进行滤波。DOG是用不同sigma的高斯模板进行滤波，然后想减。
DOG图像金字塔的概念：octave。
SURF监测子是专利规避，不用看。
MSER检测子（最大稳定极值区域）。基本思想：从低阈值开始分割，不断提高阈值。
浮点型描述子：SIFT、GLOH、SURF、LIOP
sift，sift统计的是相对的量，本质还是梯度的应用。与绝对量没有关系。
主要包括以下步骤：dog空间的极值检测，删除不稳定的极值点，确定特征点的主方向，生成特征点的描述子。
如果将图像取反，那么sift描述子相比于原图会如何变化？取反之后，梯度方向会变成相反方向，所以主方向也会变成相反方向，生成的特征点的描述子。
问题：sift描述子的具体过程。
- 特征编码与聚合
考完一段时间了，考题回忆：
写了一段，发现有个老哥已经总结完了。。
https://blog.csdn.net/qq_35172135/article/details/90413475
