3.3 基于颜色的目标提取
3.3.1 色相、亮度、饱和度及其他[1]
在2.3节介绍了彩色图像是由红(R)、绿(G)、蓝(B)三个分量的灰度图像组成。当拍摄绿草地时,与R、B分量相比,G分量较强;对于蓝天来说,与R、G分量相比,B分量较强。根据R、G、B分量值的不同,人们可以见到各种各样的颜色。在进行彩色图像处理时,不仅要考虑位置和灰度信息,还要考虑彩色信息。
对于同一种颜色,不同的人,脑子里所想的颜色可能不相同。为了定量地表现颜色,可以把颜色分成三个特性来表现,第一个特性是色调或者色相H(hue),用来表示颜色的种类。第二个特性是明度V(value)或者亮度Y(brightness)或I(intensity),用来表示图像的明暗程度。第三个特性是饱和度或彩度S(saturation),用来表示颜色的鲜明程度。这三个特性被称为颜色的三个基本属性。颜色的这三个基本属性可以用一个理想化的双锥体HSI模型来表示,图3.5显示了彩色双锥体HSI模型。双锥体轴线代表亮度值。垂直于轴线的平面表示色调与饱和度,用极坐标形式表示,即夹角表示色调,径向距离表示在一定色调下的饱和度。
图3.5 颜色的理想模型
模拟彩色电视信号也是把R、G、B信号变换到亮度信号Y和色差信号C1、C2的。其关系式如下:
(3.9)
式(3.10)表示了R、G、B信号与Y、C1、C2的关系。其中亮度信号Y相当于灰度图像,色差信号C1、C2是除去了亮度信号所剩下的部分。从亮度信号、色差信号求R、G、B的公式如下:
(3.10)
上述的色差信号与色调、饱和度之间有如图3.6所示的关系。这个图与图3.5所示垂直于亮度轴线方向上的投影平面,即彩色圆是一致的。从图3.6可以看出,色调H表示从以色差信号B-Y(即C2)为基准的坐标轴开始旋转了多少角度,饱和度S表示离开原点多大的距离。用公式表示的话,色调H、饱和度S与色差的关系表示如下:
(3.11)
相反,从色调H、饱和度S变换到色差信号的公式如下:
(3.12)
图3.6 色差信号与色调、饱和度、亮度的关系
把彩色图像的R、G、B变换为亮度、色调、饱和度的图像。将亮度信号图像可视化得到的就是灰度图像。色调和饱和度是各自将它们的差值作为灰度差来进行图像可视化。色调的表示是从某基准的颜色开始计算在0°~180°之间旋转多少角度,当与基准颜色相同(色调的旋转角为0°)时为255,相对方向的补色(色调的旋转角为180°)时为0,中间用254级的灰度表示。在色调的表示中,当饱和度为0(即无颜色信号)时不计算色调,常常给予0灰度级。饱和度的图像是将饱和度的最小值作为像素的最小值0,将饱和度的最大值作为像素的最大值255,依次按比例将饱和度的数据转换为图像数据。
对实际图像进行上述变换的结果如图3.7所示,其中图3.7(a)是原始图像,图3.7(b)是其亮度信号的图像。原始图像中宠物兔的红色成分较多,由于色调信号以红色为基准,因此图3.7(c)所示的色调信号图像整体偏亮。由于整个图像的颜色不是很深,所以图3.7(d)的饱和度信号偏暗,特别是背景地板砖的饱和度最低。
可以看出,对于该图像,利用H或者S信号图像,对目标物兔子进行二值化提取,应该更容易一些。因此将RGB转换成HSI有时更有利于目标物的提取,但是与利用RGB信号相比,将会付出多倍的处理时间。
对于颜色的描述,除了RGB和HSI之外,还有L*a*b*、UYV、XYZ等诸多模型。这些模型可以根据情况应用于不同的目的和场景。
图3.7 颜色的三个基本属性
3.3.2 颜色分量及其组合处理
对于自然界的目标提取,可以根据目标的颜色特征,尽量使用R、G、B分量及它们之间的差分组合,这样可以有效避免自然光变化的影响,快速有效地提取目标。以下举例说明基于颜色差分的目标提取。
(1)果树上红色桃子的提取[2]
①原图像。图3.8为采集的果树上桃子彩色原图像的例图像,分别代表了单个果实、多个果实成簇、果实相互分离或相互接触等生长状态以及不同光照条件和不同背景下的图像样本。图3.8(a)为顺光拍摄,光照强,果实单个生长,有树叶遮挡,背景主要为树叶。图3.8(b)为强光照拍摄,果实相互接触,有树叶遮挡,背景主要为枝叶。图3.8(c)为逆光拍摄,图像中既有单个果实又存在果实相互接触,且果实被树叶部分遮挡,背景主要为枝叶和直射阳光。图3.8(d)为弱光照、相机自动补光拍摄,果实相互接触,无遮挡,背景主要为树叶。图3.8(e)为顺光拍摄,既有单个果实,又存在果实相互接触及枝干干扰。图3.8(f)为强光照拍摄,既有单果实,又存在果实间相互遮挡,并含有枝干干扰及树叶遮挡。
图3.8 彩色原图像
②桃子的红色区域提取。由于成熟桃子一般带红色,因此对彩色原图像首先利用红、绿色差信息提取图像中桃子的红色区域,然后再采用与原图进行匹配膨胀的方法来获得桃子的完整区域。
对图像中的像素点(xi,yi)(xi、yi分别为像素点i的x坐标和y坐标,0≤i<n,n为图像中像素点的总数),设其红色(R)分量和绿色(G)分量的像素值分别为R(xi,yi)和G(xi,yi),其差值为βi=R(xi,yi)-G(xi,yi),由此获得一个灰度图像(RG图像),若βi>0,设灰度图像上该点的像素值为βi,否则为0(黑色)。之后计算RG图像中所有非零像素点的均值α(作为二值化的阈值)。逐像素扫描RG图像,若βi>α,则将该点像素值设为255(白色),否则设为0(黑色),获得二值图像,并对其进行补洞和面积小于200像素的去噪处理(见第5章)。
图3.9分别为图3.8采用R-G色差均值为阈值提取桃子红色区域的二值图像。从图3.9的提取结果可以看出,该方法对图3.8中的各种光照条件和不同背景情况都能较好地提取出桃子的红色区域。
对于图3.9的二值图像,再进行边界跟踪、匹配膨胀、圆心点群计算、圆心点群分组、圆心及半径计算等步骤,获得图3.10所示的桃子中心及半径的检测结果。由于其他各步处理超出了本章内容范围,不做详细介绍。
图3.9 提取图3.8桃子红色区域的二值图像
图3.10 轮廓提取及拟合结果
(2)绿色麦苗的提取[3]
小麦从出苗到灌浆,需要进行许多田间管理作业,其中包括松土、施肥、除草、喷药、灌溉、生长检测等。不同的管理作业又具有不同的作业对象。例如,在喷药、喷灌、生长检测等作业中,作业对象为小麦列(苗列);在松土、除草等作业中,作业对象为小麦列之间的区域(列间)。无论何种作业,首先都需要把小麦苗提取出来。虽然在不同季节小麦苗的颜色有所不同,但是都是呈绿色。如图3.11所示,(a)为11月(秋季)小麦生长初期阴天的图像,土壤比较湿润;(b)为2月(冬季)晴天的图像,土壤干旱,发生干裂;(c)为3月(春季)小麦返青时节阴天的图像,土壤比较松软;(d)~(f)分别为以后不同生长阶段不同天气状况的图像。这6幅图分别代表了小麦的不同生长阶段和不同的天气状况。
图3.11 不同生长期麦田原图像示例
由于麦苗的绿色成分大于其他两个颜色成分,为了提取绿色的麦苗,可以通过强调绿色成分、抑制其他成分的方法把麦田彩色图像变化为灰度图像。具体方法如式(3.13)所示。
(3.13)
其中,G、R、B表示点(x,y)在彩色图像中的绿、红、蓝颜色值,pixel(x,y)表示点(x,y)在处理结果灰度图像中的像素值。图3.12是经过上述处理获得的灰度图像。
图3.12 2G-R-B的灰度图像
针对灰度图3.12的灰度图像,利用大津法确定二值化处理的分割阈值,具体步骤如下:
①计算灰度图像的灰度平均值,作为初始阈值t0。
②利用t0把灰度图像划分为Q1和Q2两个区域,即将像素值小于t0的像素归于Q1区域、大于t0的像素归于Q2区域。
③分别计算Q1和Q2两个区域内的灰度平均值t1和t2,设t1、t2的平均值为新阈值td,即td=(t1+t2)/2。
④判断t0与td是否相等。
a.如果相等,设最终阈值T=td。
b.如果不相等,令t0=td,转到步骤②,循环执行,直到获得最终阈值T为止。
以T为分割阈值对灰度图像进行二值化处理,设像素值大于T的像素为白色(255)代表苗列,像素值小于T的像素为黑色(0)代表列间。处理结果如图3.13所示,二值图像上的白色细线是后续处理检测出的导航线。二值化处理结果表明,该自适应阈值方法不受光照、背景等自然条件的影响,能够把麦苗较好地提取出来,并且不需要消除噪声、滤波等其他的辅助处理。由于阈值的确定不需要人为设定,完全根据图像本身的像素值信息来自动确定,大大提高了处理精度。
图3.13 大津法二值化处理结果