第3章 基于马尔可夫随机场模型的拓扑纹理图像色彩复原研究

3.1 彩色图像复原理论

随着图像获取设备和其他相关的图像硬件设备的飞速发展、计算机性能的快速提高，以及人眼视觉对色彩信息的敏感性，彩色图像得到了广泛的应用，彩色图像处理已成为信号处理学科中的一个重要的研究领域。众所周知，彩色图像所包含的信息要比灰度图像丰富得多，人眼能区别的灰度层次大约只有二十几种，但能够识别的色彩却成千上万。彩色图像的应用日益广泛，无论是对人类的视觉感观而言，还是对于后续的高级图像分析与理解，彩色图像都具有灰度图像无可比拟的更高优越性。

由于受各方面因素的制约或条件限制，如噪声污染或者背景光分布不均匀等原因，往往导致得到的彩色图像具有颜色偏暗、对比度低、某些局部细节不突出等特征，使得图像中的目标难以被识别和分辨。因此，对彩色图像进行复原，主要包括彩色图像增强和彩色图像恢复。通过这两种技术的处理，不仅能够显著提高复原后的彩色图像的质量，以便观察到更多的细节，而且能够给后期的智能识别提供有效的特征，以获得令人满意的视觉效果。

3.1.1 彩色图像增强技术

图像增强的目的是突出图像中的有用信息，扩大图像中不同物体特征之间的差别，从而改善图像的视觉效果、突出图像的特征。多年来，人们提出了很多图像增强的算法，如直方图均衡、同态滤波和非线性映射等方法。这些方法大都适用于灰度图像的处理，而适用于彩色图像的方法并不多，并不能直接推广到彩色图像增强中去。这是因为彩色图像的三基色分量（即红、绿、蓝）存在着强烈的光谱联系，相关性很高，而且人类对大脑中色彩的处理机制仍未完全理解，这就使得在一般情况下，不能将灰度图像的处理方法直接应用到彩色图像中来，这就使得对彩色图像处理技术的研究比灰度图像复杂得多，也困难得多。

对于彩色图像的增强，增强噪声环境下的图像细节只是一个方面，和灰度图像相比，彩色图像还存在色彩信息，彩色图像增强的目的是增强图像中的色彩细节，使得图像中所含有用信息和感兴趣内容更加丰富，视觉效果更加生动和色彩鲜艳，并且不带来失真或色偏现象。因此，彩色图像必须正确选择合适颜色空间，以及处理颜色分量之间的关系。

目前，常见的彩色图像增强算法有两类：一类是基于颜色空间转换的增强方法，这类方法通常将原始RGB图像转换至某特定颜色空间下，通过保持色相不变以避免颜色的偏移，接着利用传统灰度图像增强算法直接作用于亮度分量，最后再重新转换至RGB空间中实现增强。由于对各个颜色分量处理不一致，这类方法容易导致颜色失真，处理后的图像往往存在伪彩色。丁兴号提出了一种基于彩色双边滤波的彩色图像增强方法。该方法将彩色图像增强分为三部分：全局亮度调节、局部对比度增强和颜色恢复。全局亮度调节主要是对图像的整体亮度信息进行非线性调整，压缩图像的亮度动态范围；局部对比度增强主要是利用彩色双边滤波获得像素点所在邻域的背景亮度；最后通过颜色恢复算法恢复图像色彩。赵全友根据RGB颜色空间中三分量相关性的特点，提出了一种颜色保持的彩色图像增强算法。该算法利用非线性Sigmoid传输函数，多尺度地增强亮度分量，并进行局部对比度增强，以获得亮度增益曲面，最后利用亮度增益曲面对原彩色图像RGB三颜色分量同比增强，保证了色调恒定不失真。胡琼提出了一种用于彩色增强的直方图均衡化算法，该方法按图像灰度均值、分割后灰度直方图等面积原则，对R、G、B各分量子图的灰度直方图分别进行两次分割，同时对分割后的各子灰度直方图分别进行均衡化处理，并根据各分量子图的灰度级总数占原彩色图像灰度级总数的比例，将均衡化处理后的R、G、B各分量子图进行合并。采用该算法进行彩色图像增强可得到较好的增强效果。Strickland分析了亮度信息和饱和度信息之间的关系，并且提出了在低亮度下利用饱和度信息反馈算法来增强图像的亮度信息，也就是增强图像的细节信息。

另一类彩色图像增强算法从人眼对物体颜色的感知特性出发，将色彩恒常特性应用于彩色图像的增强，如基于Retinex理论的增强方法，这类算法的侧重点都是集中在如何有效地估计图像的背景光照分量上。不同于传统的图像增强算法，如线性、非线性变换、图像锐化等只能增强图像的某一类特征，Retinex可以在灰度动态范围压缩、边缘增强和颜色恒定性三方面达到平衡，因而可以对各种不同类型的图像进行自适应性增强。正因为Retinex这种良好的属性，使Retinex在很多方面得到了广泛的应用，如医疗影像处理、遥感图像处理、自然颜色显示等。

Meylan在Retinex模型基础上提出了一种自适应滤波彩色增强技术，取得了很好的增强效果，但是该方法有一定的颜色失真且计算量非常大。Li利用人眼的视觉感知特性，依据类似Retinex增强原理，采用了自适应指数调节的方法，取得了非常不错的增强效果，但在图像轮廓处容易产生光晕现象。肖泉依据人眼系统局部自适应调节特性，通过引入对比度调节函数自适应增强图像的细节信息，克服了经典Retinex算法在整体对比度提高的同时，局部对比度下降的不足。该方法能有效地克服光晕现象，且增强后的图像明亮生动、颜色自然，具有较好的整体视觉效果。

除了上述两类方法，国内外学者还提出了以细节保持为目标的基于多尺度分解的（如小波变换）增强方法和以模拟人类神经特性为目标的基于神经网络的方法。

随着小波变换和曲波变换等技术的不断完善和发展，多尺度分析技术在彩色图像增强中显示出了越来越大的应用价值。黄凯奇在分析颜色模型的基础上，采用小波多尺度分析，同时对高频细节信息和包含亮度信息的低频信息进行了一种自适应调节处理，达到了同时增强图像细节和亮度的目的。杜海顺在HSI 颜色空间提出了一种基于视觉特性和最大模糊熵的多尺度彩色图像增强方法。该方法对亮度分量进行小波多尺度分解，对于不同分解尺度的高频小波子带，采用不同的非线性函数进行处理，以实现图像细节的增强，同时最大限度地抑制噪声。杨居义针对小波变换对彩色图像增强算法产生的诸多问题，提出了基于Curvelet变换的彩色图像增强算法，克服了小波变换在表达彩色图像边缘的方向特性等方面的内在缺陷，更加适合分析彩色图像中的直线或曲线状边缘特征。

在基于神经网络的彩色图像增强技术方面，杨伟楠提出了一种基于动态递归径向基函数神经网络的彩色图像恢复方法，将一种动态递归神经网络完成的最近邻分类器应用于彩色图像增强，该方法对于含有不同程度噪声的彩色图像增强效果良好。毛伟民提出了一种基于神经网络的低照度彩色图像增强方法，该方法充分利用了神经网络自适应学习能力强、抗噪声、函数拟合能力强的优势，通过学习使神经网络拟合出低照度图像与正常光照图像之间的映射关系，并依据该映射关系对低照度图像进行处理，获得正常亮度的图像。该方法可以兼顾图像整体效果和局部细节，对低照度图像具有较好的增强效果，并且对噪声的抑制作用明显。近年来，由于脉冲耦合神经网络（Pulse Coupled Neural Network，PCNN）很好地模拟了人类神经系统对彩色图像的感知能力，基于PCNN的图像增强较其他神经网络图像增强方法具有明显优势。石美红提出了一种在HIS色彩空间上，基于PCNN的彩色图像增强算法。该算法能够在平滑图像、突出图像边缘的同时，通过对亮度强度分量的非线性对数拉伸和对饱和度分量的非线性指数调整，改善了图像的视觉效果和图像色彩的真实效果。张煜东提出了一种基于HVS与PCNN 的彩色图像增强方法，该方法利用PCNN的特性，将原始图像的灰度信息与空间信息一起耦合到神经元的内部活动项，不但可以实现自动参数选择，而且能对图像的整体与局部同时进行增强。

3.1.2 彩色图像恢复技术

图像恢复是一类不适定特性（或病态质）的反问题。不适定性的定义是Hamard在求解偏微分方程时给出的，即如果一个问题的解是存在的、唯一的，而且连续依赖于初始数据，那么称其为适定的，当不能全部满足上述条件时，就称其为不适定的。为了得到不适定问题的稳定解，需要引入合适的先验约束，并把它转换成适定的问题，即将解的先验信息作为病态问题的正则化。在图像恢复中，通常将关于原始图像的先验信息用图像的先验模型表示，如早期的高斯多变量模型、自回归模型等。然而，图像恢复的研究表明，为了取得更好的恢复效果，这些图像的先验模型还不够精确，于是促成了图像模型在图像恢复中的发展。

图像恢复中的模型可分为概率模型和非概率模型，或者随机模型和确定模型。从这种角度考虑，图像恢复方法可以分为确定性恢复方法和随机性恢复方法。确定性图像恢复方法又可分为正则化图像恢复方法和基于偏微分方程的图像恢复方法，随机图像恢复方法又可具体分为最大后验估计方法和贝叶斯估计方法。

1.确定性图像恢复方法

确定性图像恢复方法的典型方法是正则化方法，早期使用的是Tikhonov正则化方法。Tikhonv正则化方法的基本思想是限制问题的解空间，使得原来病态问题的解在这个受限制的解空间中存在、唯一，并且连续地依赖于观测数据，从而将原来的病态问题转化成良态问题。具体来说，Tikhonov正则化方法将原始图像是“平滑的”这一先验信息引入图像恢复中，这种方法计算上特别有效，但结果常导致恢复图像产生寄生波纹和边缘模糊。

正则化方法的进一步发展是边缘保持的正则化方法，为此人们引入非二次正则化泛函，从而使问题变为非线性方程组的求解。这方面有代表性的是Geman等人提出的半二次正则化方法。正则化图像恢复另一个新的发展是Osher等提出的总变分（Total Variation，TV）正则化图像恢复方法。近几年来总变分图像恢复的研究已得到进一步的加深和推广，如Chan等人提出了一种基于总变分方法的盲图像恢复。

值得注意的是，正则化方法通过稳定子（Stabilizer）来约束解空间，所获得的解是满足先验约束程度和与观测量相近程度的最佳折中，但不具有普适性。具体表现为：一是对解空间的限制太苛刻，如标准Tikhonov正则化中要求其有预先确定的某阶导数，以致于在边缘等不连续处出现了过分平滑的现象；二是基于变分法的Euler-Lagrange解方程的分析思想不能用来处理高层视觉中的问题，因为无法引入高层分析所需的约束项；三是正则化方法虽然在模型上有其优势，但是以牺牲计算复杂度为代价的。

正则化方法的一个自然推广是基于偏微分方程的图像恢复。自20世纪90年代以来，使用偏微分方程（PDE）进行图像处理的方法获得了较大的发展，逐步成为一门十分具有吸引力的研究课题。汇集约束优化、能量最小化和变分方法优势于一体的偏微分方程方法的基本思想是将研究问题归结为一个泛函极小问题，然后用变分方法导出一个或一组偏微分方程，最后用数值计算技术求解，即恢复图像。基于PDE的方法在图像处理方面得到广泛应用的一个重要原因是，PDE有完善的数学基础和大量的数学工具，可以证明PDE的收敛性、稳定性以及解的唯一性，同时也有许多高效的数值解法可以用于PDE的求解。

目前，基于PDE的图像恢复方法已经成功用于图像恢复的多个领域，是一种重要的图像恢复方法。这种方法存在的主要问题是计算复杂度较大，对于一些参数的估计还没有固定的准则，且对图像高阶统计特征的表征能力较弱。

2.随机性图像恢复方法

目前的图像恢复研究，不管是在空域恢复还是变换域恢复，随机图像恢复方法都有大量的研究，这类方法本质上属于统计方法。从统计角度考虑，随机图像恢复方法又可分为MAP估计方法和贝叶斯估计方法。这两种方法都以建立图像先验统计模型为基础，所不同的只是恢复图像的估计准则不同。早期的工作是假设原始图像服从高斯分布，即用高斯Markov随机场模型刻画图像统计分布。在图像恢复领域，贝叶斯方法往往优于MAP方法，其原因是贝叶斯方法估计参数是基于整个分布的，而MAP采用点估计的方式估计模型参数，只在单峰值分布模型时才有效。贝叶斯方法能够取得鲁棒性很强的恢复效果，而MAP方法只在某种情况下才能取得较好效果，因此具有很大的不稳定性。

目前，随机图像恢复方法中的典型模型是马尔可夫随机场（Markov Random Field，MRF）模型。我们知道，在图像处理中，空间上下文信息有着重要的作用。图像中某个像素点的亮度，与其邻域内其他像素点的亮度值有着紧密关系。在图像恢复中，这类空间结构方面的信息有着重要作用，MRF可以有效地对这类空间结构信息进行建模。

MRF是1974年由Besag引入图像处理领域的，基于MRF的恢复算法将原图像看成是一个Markov场，并以此作为先验知识来进行最大后验概率密度估计。近几年来，MRF模型与智能计算的结合、与小波分析的结合、与模糊数学的结合可以明显地提高图像理解的质量和识别的效果，充分反映出MRF模型在这一领域中的应用潜力。目前，MRF已经广泛地应用于模式识别、计算机视觉、医学图像分析、航空遥感图像的分析与理解，为这些问题的解决提供了新理论和新方法。

MRF方法建立在MRF模型和贝叶斯估计的基础上，MRF模型提供了为内容相关项建模的途径，结合实际观测图像，按统计决策和估计理论中的最优准则确定问题的解，可以克服正则化方法的不足，并有以下几个鲜明特点：一是它与正则化有一致性，但比其适应性宽。Bertero证明了标准正则化是它的特殊情形，当观测噪声是加性独立同分布高斯噪声且采用平滑约束时，MAP解和正则化解是等价的。此外，由于MRF模型采用了除平滑约束外的其他约束形式，因此比正则化模型更适用于高层次上的视觉问题。二是它能较好地处理不连续问题，即在待估量的先验模型中引入线过程，可在连续情况下对估计量做平滑约束，而在不连续情况下不做任何约束。三是MRF的局部特性决定了可采用局部、大规模并行算法，比正则化方法具有更大的速度优势。

由于MRF本质上是一个条件概率模型，结合贝叶斯准则，可以把问题归结为求解模型的最大后验概率估计，进而转化为求解最小能量函数的组合优化问题。如何进行最大后验概率密度估计的计算是恢复的关键之一。通常有三种计算方法：

①模拟退火算法；

②Gibbs采样算法；

③条件迭代（Iterated Conditional Modes，ICM）算法。

模拟退火算法虽然可以完成这一计算，但计算量非常大。Geman提出了基于图像Markov随机场模型的贝叶斯估计恢复方法，并提出了一类具体的Markov随机场模型。它将图像模型划分为两个过程，一个是由每个像素组成的显过程，另一个是模型相邻像元间像素变化的线过程，线过程可以区别出图像中的细节。Gibbs采样算法能在去除噪声的同时保留很多图像中的细节。然而，这类模型的参数估计是个问题，Gibbs采样器的随机松弛局部优化方法计算量非常大，算法收敛很慢。为了解决这个问题，Besag提出了迭代条件模式（Iterative Conditional Modes，ICM）的参数方法代替之前的Gibbs采样法，即通过逐元计算和局部化极大似然来进行优化，尽管计算量有很大减少，但是这种估计方法的解易陷入局部最优。