1.1 什么是图像

我们首先不考虑“什么是图像”，而是考虑“有什么样的图像”。图像有以下几种不同的方式产生，如图1.1所示：

• 摄影（Photography）：摄影通过光学元件将真实场景投影到二维图像平面上而生成二维图像。光学元件聚焦在某个平面上，成为焦平面（focal plane）。物体离焦平面越远，它们就显得越模糊。因此，照片通常具有清晰和模糊的区域。

摄影产生图像分为以下两个步骤。首先，利用化学反应将不同的亮度和颜色映射到胶卷上。然后，利用其他的化学反应使胶片显影并产生照片。每个化学反应都会产生一些轻微的不受控制的变化（variations），因此照片并不能完全对应于实际的亮度（brightness）值和颜色（color）值。特别地，胶卷具有一定的粒度（granularity），这相当于图片中存在一定程度的噪声。

如今，大多数照片都是通过数字方式获得的。这里，亮度和颜色是在特定的位置（像素点）以数字化的方式测量得到的。这个过程会产生一个亮度值或者颜色值的矩阵，并且带有一定程度的噪声。

• 扫描（Scans）：我们可以使用扫描仪来数字化照片。扫描仪逐行照亮照片，并沿直线测量亮度或者颜色值。通常这不会带来额外的模糊。但是，扫描仪以特定的分辨率来扫描照片，这会导致信息的减少。此外，扫描的过程也会导致一些其他的伪影。老的扫描照片通常很苍白，并且可能包含一些污染。校正扫描照片中的错误信息是图像处理中的一个重要问题。

• 显微镜检查（Microscopy）：数字显微镜和模拟显微镜是摄影和扫描的混合。显微镜的测量技术与摄影类似，但是由于在这种情况下光锥很宽，其景深非常低。因此，不在焦平面上的物体会显得非常模糊并且实际上是不可见的，这导致图像几乎是二维的。共焦显微镜由于仅仅照射焦平面，因此加剧了这种效果，这进一步抑制了不在焦平面中的物体。

• 间接成像（Indiract Imaging）：在某些情况下，我们无法直接测量图像数据，比较典型的例子有计算机断层成像（Computerized Tomography）和超声成像（Ultrasound Imaging）。比如在CT成像中，我们从不同角度获取物体的X射线扫描，这些扫描之后被用于重建物体密度的三维图像。这里我们首先需要使用数学工具来重建图像。重建的图像通常会生成一些伪影，并且由于测量过程中的噪声，重建图像中也含有噪声。其他间接成像的模态有单光子发射计算机断层成像（SPECT）、正电子发射断层成像（PET）、地震层析成像（seismic tomography）、全息摄影（holography）等。

• 广义图像（Generalized Images）：与上述成像方式不同的数据也可以被视为图像。例如，在工业工程中，我们可以通过测量工件的表面来检查它们的光滑度。这个过程可以产生一个二维的高度表（Elevation Profile），我们将其视为一副图像。其他的例子包括测量化学浓度或者磁场强度。一个稍微不同的例子是液相色谱-质谱（LC/MS）。这里我们测量时间相关的质谱，所得的二维数据具有质量和时间维度，可以通过成像技术进行处理。

图1.1 不同类型的图像。第一行：照片；第二行：扫描和显微图片；第三行：间接成像（雨滴的全息成像）和广义图像（高度表）

正如我们所看到的，图像不一定是二维的。一般情况下，我们默认处理d维图像；在特殊情况下，我们将处理一维或者二维图像。

---

让我们回到最初的问题——图像是什么？我们从实际的角度出发给出图像在数学上的定义：图像是一个将某个定义域中的每一点映射到某个颜色值的函数。换句话说，图像u是从图像域到某个颜色域的函数：

我们区分离散和连续的图像域：

• 离散维图像，比如
• 连续维图像，比如或者

不同的颜色空间：

• 黑白图像（二值图像）：
• 灰度图像，离散颜色空间，k比特深度：
• 彩色图像，离散颜色空间，k比特深度，个颜色通道：
• 连续灰度图像，或者
• 连续彩色图像，或者

数字图像处理领域处理的大部分为离散彩色图像。这从某种意义上说是合理的，因为图像通常是离散形式生成的，或者在进一步自动处理之前必须转换为离散图像，使用的方法通常受连续图像的启发。在本书中，我们默认图像是连续的对象（）。因此，我们针对连续色彩空间的连续图像来设计和推导方法。进一步，我们主要处理灰度图像（或者）。

彩色图像的数学处理是一个微妙的课题。例如，如何在彩色空间中度量距离：红色与蓝色之间的距离是否比红色与黄色之间更大？此外，对颜色的感知十分复杂并且主观。颜色可以用不同的颜色空间表示，通常它们用不同的颜色通道进行编码。例如，在RGB空间中，颜色被表示为红色（Red）、绿色（Green）和蓝色（Blue）通道的相加（如屏幕和显示器上）；在CMYK空间中，颜色被表示为青色（Cyan）、品红（Magenta）、黄色（Yellow）和黑色（Black）通道的相减（如印刷）。在RGB空间中，颜色通过三元组进行编码，每个分量表示相应颜色的分量——代表黑色，代表白色。RGB空间与CMYK空间可以视为一个立方体，如图1.2所示。

图1.2 RGB空间和CMYK空间，视作一个立方体

为了处理彩色图像，我们也经常使用HSV空间：将颜色用色调（Hue）、饱和度（Saturation）和明度（Value）来表示。在HSV空间中，颜色被编码成三元组。在这里，色调是一个角度，而饱和度和明度是百分比。HSV空间可以视为一个圆柱体，如图1.3所示。仅仅处理明度通道（保持其他通道不变）在实际中通常会有很好的结果。

图1.3 HSV空间，视作一个圆柱体

---

图像处理的目标是自动化或者促进图像的评估和解释。我们称从图像中获取特定的信息的方法为高级（high-level）方法，如物体的个数、照相机的视角、物体的大小、场景的意义等；称产生新的图像或者改善图像的方法为低级（low-level）方法。本书重点处理低级方法。

为了自动化处理图像，我们通常会聚焦到特定的感兴趣结构或者特征。例如：

• 边缘、角点：边缘描述了两个不同物体、不同结构之间的边界。但是，边缘也可以将阴影区域和明亮区域分开。
• 光滑区域：颜色均匀的物体在图像中表现为光滑区域。如果物体是弯曲的，光照会产生亮度的光滑变化。
• 纹理：纹理代表某种图案，比如布料的纤维、墙纸的结构等。
• 周期性结构：纹理可能具有某种周期性结构，这些结构可能有着不同的方向、频率，也可能是不同周期性结构的叠加。
• 相干区域：相干区域是指具有相似方向的区域，例如，木头或者头发的结构。

如果要自动检测或者处理这些结构，我们需要好的数学模型来描述它们。亮度的突然变化可以描述边缘吗？灰度值有很高的局部方差就意味着纹理吗？模型的选择会影响后续处理的方法。

---

总结：这一小节首先举例介绍了图像的类型，然后从数学上给出了图像的定义并介绍了常用的颜色空间，最后给出了图像的不同结构。