1. 稀疏表示

论文题目：Image super-resolution as sparse representation of raw image patches

                   Image Super-Resolution via Sparse Representation

两篇一样的。

补充知识：

1. 压缩感知：

将未知的要获得的信号记为AK，它是一个波形。我们希望它越不连续越好，越扩散越好，而我所要做的是按照一定的顺序获得图像信号的信息。我们按照高斯分布来收集数据，而不是线性的，所以我们只会有少量的感测次数，而这些数据的相关性非常低。

压缩的意思，是指比较先前及当前数据的差异，并记录下这些差异而减少需储存的资料量。对于压缩感知的问题比压缩难多了，像是我们要收集怎样分布的数据、如何收集、保留一些什么系数，从而得到最佳的结果。我们会得到一些机变，保留最大的，最有意义的系数在里头。我们可以做一些抽样，把最重要的保留下来。一个信号，我们知道它是非常好的，但这个信号完全是稀疏的，可能并不是我们要损失掉的。

感知压缩难点在于，压缩后的数据并不是压缩前的数据的一个子集，并不是说，本来有照相机的感光器上有一千万个像素，扔掉其中八百万个，剩下的两百万个采集到的就是压缩后的图像，──这样只能采集到不完整的一小块图像，有些信息被永远的丢失了而且不可能被恢复。

如果要想采集很少一部分数据并且指望从这些少量数据中「解压缩」出大量信息，就需要保证：第一：这些少量的采集到的数据包含了原信号的全局信息，第二：存在一种算法能够从这些少量的数据中还原出原先的信息来。

有趣的是，在某些特定的场合，上述第一件事情是自动得到满足的。最典型的例子就是医学图像成像，例如断层扫描（CT）技术和核磁共振（MRI）技术。对这两种技术稍有了解的人都知道，这两种成像技术中，仪器所采集到的都不是直接的图像像素，而是图像经历过全局傅立叶变换后的数据。也就是说，每一个单独的数据都在某种程度上包含了全图像的信息。在这种情况下，去掉一部分采集到的数据并不会导致一部分图像信息永久的丢失（它们仍旧被包含在其它数据里）。这正是我们想要的情况。

上述第二件事就要归功于陶哲轩和坎戴的工作了。他们的工作指出，如果假定信号（无论是图像还是声音还是其他别的种类的信号）满足某种特定的「稀疏性」，那么从这些少量的测量数据中，确实有可能还原出原始的较大的信号来，其中所需要的计算部分是一个复杂的迭代优化过程，即所谓的「L1-最小化」算法。

把上述两件事情放在一起，我们就能看到这种模式的优点所在。它意味着：我们可以在采集数据的时候只简单采集一部分数据（「压缩感知」），然后把复杂的部分交给数据还原的这一端来做，正好匹配了我们期望的格局。在医学图像领域里，这个方案特别有好处，因为采集数据的过程往往是对病人带来很大麻烦甚至身体伤害的过程。以 X 光断层扫描为例，众所周知 X 光辐射会对病人造成身体损害，而「压缩感知」就意味着我们可以用比经典方法少得多的辐射剂量来进行数据采集，这在医学上的意义是不言而喻的。

http://blog.csdn.net/abcjennifer/article/details/7721834/

2. 不适定问题(ill-posed problem)：

在经典的数学物理中，人们只研究适定问题。适定问题是指满足下列三个要求的问题：①解是存在的（存在性）；②解是惟一的（唯一性）；③解连续依赖于初始值条件（稳定性）。这三个要求中，只要有一个不满足，则称之为不适定问题。特别，如果条件③不满足，那么就称为阿达马意义下的不适定问题。一般地说不适定问题，常常是指阿达马意义下的不适定问题。

3. 低频与高频

低频：低频就是颜色缓慢地变化,也就是灰度缓慢地变化,就代表着那是连续渐变的一块区域,这部分就是低频. 对于一幅图像来说，除去高频的就是低频了，也就是边缘以内的内容为低频，而边缘内的内容就是图像的大部分信息，即图像的大致概貌和轮廓，是图像的近似信息。

高频：反过来,高频就是频率变化快.图像中什么时候灰度变化快?就是相邻区域之间灰度相差很大,这就是变化得快.图像中,一个影像与背景的边缘部位,通常会有明显的差别,也就是说变化那条边线那里,灰度变化很快,也即是变化频率高的部位.因此，图像边缘的灰度值变化快，就对应着频率高，即高频显示图像边缘。图像的细节处也是属于灰度值急剧变化的区域，正是因为灰度值的急剧变化，才会出现细节。另外噪声（即噪点）也是这样,在一个像素所在的位置,之所以是噪点,就是因为它与正常的点颜色不一样了，也就是说该像素点灰度值明显不一样了,,也就是灰度有快速地变化了,所以是高频部分，因此有噪声在高频这么一说。

4. 过完备字典：

http://www.cnblogs.com/Tavion/p/5166695.html

当前存在问题

该论文提出的时候，有几种解决超分辨率的方法:

(1) 通过多张同一场景的低分辨率图像重建而来(multiple low-resolution images based)。这种方法的性能取决于同一场景图片的数量以及放大的倍数。比如在极限的情况下，只有1张低分辨率的图片，那么得到的高分辨率的图片的效果是很差的。

(2) 基于学习的方法(learning based)。这种方法通过学习co-occurance prior去预测低分辨率图像与高分辨率图像之间的对应关系。但是这种方法的缺点是需要巨大的数据库。

(3) 基于例子的方法(example based)。他们的算法仅仅是将对应关系表示为简单的临近点的线形关系。

(4) 基于插值的方法(interpolation)。比如双三次插值法。这种方法能将低分辨率图片的轮廓在高分辨率图片上很好的表达，但是在图片质地细节等方面，存在着blur的问题。

解决的问题

本文提出了一种基于图像块的稀疏编码方法(rely on patches from the example images)。

稀疏表示的本质：用尽可能少的资源表示尽可能多的知识，这种表达还能带来一个附加的好处，就是计算速度快。

本文要点

1.  字典。

稀疏信号的一个最重要的部分就是字典A。字典的好处有两个。一个是对庞大数据集的一种降维表示，或者说是对信息的压缩。第二个是如同字是句子最质朴的特征一样，字典学习总是能尝试学习蕴藏在样本背后最质朴的特征(假设样本最质朴的特征就是样本最好的特征)。

(1) 选择预定义的字典，如无抽样小波、可操纵小波、轮廓博、曲波，等等。近期很多学者提出来主要针对图像的字典，特别是类似于“卡通”的图像内容，假设分段平滑并具有平滑边界。这些提出的字典附有详细的理论分析，能够对简单信号建立稀疏表示系数。一个典型的应用时M项近似衰减率——用M个最佳的非零系数表示信号。

(2) 可调节的——通过在特定参数（连续或者离散的）控制下生成基或帧。两个最熟知的例子就是小波包和Bandelets.尽管预定义和自适应的字典通常具有较快的变换速度，他们无法处理稀疏信号，并且，这些字典限制于特定类型的图像和信号，无法应用于新的，任意类型的信号。因此我们需要寻找克服这些限制的新方法——通过一种学习的观点。基于学习的方法首先需要构建一个训练信号集，然后构建一个经验学习字典，即通过经验数据中生成潜在的原子，而不通过理论模型。这样的字典可以实际应用，作为固定或冗余字典。与预定义和自适应的字典不同，学习字典能够适用于符合稀疏场定义的任何类型的信号。然而，这将带来更重的计算负担，且只能应用于低维信号（至少目前为止是这样的）这是为什么这种方法只能应用于图像块。

2. 低分辨率与高分辨率的关系。

3. 稀疏表示的算法

缺点与不足

该方法只能是基于类别的。比如要重建花的图像，首先需要准备字典。那就需要通过许多张花的图片，然后去生成满足稀疏表示的字典。但是这个是具有局限性的。比如一张图既有花又有动物怎么办？所以未来的工作是要找到一种有限的方式，将代表不同质地和特征的字典组合起来。

2. 成对字典训练

论文题目： Couple Dictionary Training for Image Super-resolution

当前存在问题

现在的字典学习方法主要是聚焦于在单特征空间训练一个过完备字典(standard dictionary)。然而，在很多场合中，我们有双稀疏特征空：高低分辨率信号空间，源图像和目标图像的质地转换。这两个空间我们表示为：可观空间(the observation space)和底层空间(the latent space)。这两个空间存在着映射关系，但不是简单的线性。

有人提出了一个方法将这两个特征空间结合起来(joint dictionary)，将问题转化为在单一特征空间的稀疏编码。但是，这个结合了的字典并不是由在各自特征空间中单独训练来的，所以恢复的正确率是不能保证的。

解决的问题

本论文中，作者提出了一种新的字典学习的方法(couple dictionary)，明确地强调可观字典(observation dictionary)的观察信号(obervation signal)的稀疏表示可以很好地和底层字典(latent dictionary)来表达用潜在信号。

这种方法比联合字典(joint dictionary)在质量和数量上都表现的优越。并且，在实际应用中，这个算法加快了十倍。

本文要点

1. couple dictionary

2. couple dictionary算法

3. 两个维度的选取

Xi(latent space):从HR里提取的特征

Yi(observable space):将HR下采样到LR,然后用插值法，恢复成HR后提取特征。

这个有点不懂。

4. 快速超分辨率重建

因为用稀疏编码来做的话，计算量是很大的，所以耗时间比较长。作者比较了稀疏编码和插值法在效果上的不同。

在边缘和有明显色差的地方，稀疏编码比插值法的效果要好。在平滑的地方，稀疏编码和插值法的效果是差不多的。所以，从这个结果来看，我们可以选择性的在高色差的地方用计算代价较大的稀疏编码技术，在比较平滑的地方，用计算代价比较小的插值法来做。

因此，我们通过variance of image patch来选择边缘和高色差(highly textured regions)的区域。如果variance高于某个阈值，我们认为这个可以用稀疏编码来做，反之用插值法。

http://blog.sina.com.cn/s/blog_78f19d130102uzie.html