第二节 评估指标体系的建立
一、评估内容
在分类定性、两定测算、两费落实、管养分离、内部改革、人员分流与社会保障、水价改革及验收完成情况等8项改革任务评估的基础上,综合评估水管体制改革任务完成情况,进而提出深化改革建议。
二、技术路线
(1)根据水管体制改革的评估内容将评估体系分成若干个子目标和指标,建立水管体制改革评估的指标体系。
(2)为了增加权重确定的客观性和科学性,选取一定数量的相关专家、学者及相关的工程管理人员作为调查对象,确定子目标和指标的相对重要程度,从而构造判断矩阵,经过层次单、总排序和一致性检验,利用层次分析法确定指标权重。
(3)在调查分析的基础上确定水管体制改革评估指标的分值,利用层次分析法确定指标权重进行综合计算,得到各个地区水管体制改革评估的综合评估值,然后采用聚类分析法建立聚类评判矩阵,进一步确定各个地区水管体制改革任务完成情况评估的等级,从而得到水管体制改革的最终评估结果。
水管体制改革评估指标体系建立的技术路线见图1-1。
图1-1 水管体制改革评估指标体系技术路线
(4)对中西部地区水管单位特别是县属水管单位“两费”落实情况进行分析。
三、指标选择原则
构造水管体制改革评估指标体系是一项复杂的系统工程,评估指标既要包括技术指标,也要涵盖对水管体制改革的组织实施、措施落实及改革所取得的成效等,为了保证评估结果的科学性、可靠性及全面性,达到预期的评估目标,评估指标选择应遵循以下原则。
1.科学性原则
所选择的指标体系要尽可能全面地反映水管体制改革进展情况,客观如实地反映水管体制改革目标的构成,反映改革目标和指标的支配关系。但是选择指标不能太繁琐,同时也要容易获取。既不能过多、过细,使指标之间互相重叠,又不能过少、过简,使指标信息遗漏。
2.层次性原则
所选择的指标体系应尽可能反映出实现目标的层次性,从宏观到微观层层深入,形成一个评估系统,反映不同地区水管体制改革从综合到分类的改革任务,对于对水管体制改革影响较大的指标给予大权重,对于具有地域性特点的技术指标给予中等权重,对于本阶段难以实现的指标给予较小权重。
3.整体性原则
在评估指标体系中,每项指标应能独立地反映某一方面的水管体制改革情况,必须全面真实地反映水管体制改革任务完成情况的各个侧面的基本特征,每一侧面由一组指标构成,同时各指标之间又相互联系,共同构成一个有机的整体,使得评估结果可以全面地反映水管体制改革的综合水平。
4.可操作性原则
可操作性原则要求评估指标在指标测度方面应有可操作性。即各评估指标:一要具有可比性,这就要求指标的含义、适用范围在不同水管单位是相同的;二要具有可量化性,要求定量指标可直接量化,定性指标可以间接赋值量化;三要有可行性,要求指标资料易于获取,易于分析计算。
四、水利工程管理体制改革评估指标体系的层次结构
评估指标体系的层次结构是各指标之间的相互隶属关系。要客观评估水管体制改革进展,首先要把评估指标体系条理化、层次化,将各个指标分系统、分层次地构建一个完善的层次结构。根据水管体制改革任务,可构造出以下的递阶层次结构。
1.总目标层A
总目标层A为水管体制改革评估的总目标,即水管体制改革任务完成情况。
2.子目标层B
子目标层B是指水管体制改革任务的各个构成方面,包括分类定性、“两定”测算、“两费”落实、管养分离、内部改革、人员分流与社会保障、水价改革、验收完成率等8个分项。
3.指标层C
指标层C是评估指标体系的最底层,是整个评估指标体系的基本元素。它对子目标层各分项进行细化,提供了可供评估的指标。
根据上述分析,将水管体制改革评估指标体系构造为两级递阶层次结构,详见表1-1。
表1-1 水管体制改革评估指标体系
五、权重设置和指标赋分标准
对水管体制改革进行综合评估时,要考虑众多因素对水管体制改革成效的综合影响,各因素(指标)对整体的影响程度即称之为权重。权重是指标本身物理属性的客观反映,是主、客观综合量度的结果,反映了专家对问题的理解,是专家经验和决策者意志的体现,相当程度上决定了多目标综合评估的精度,是多指标综合评估的关键,直接影响到综合评估结果。
(一)权重确定方法的选择
不同的评价模型,权重的构造有不同的理论依据,根据计算权重时原始数据的来源不同,大致可分为主观赋权法、客观赋权法和组合赋权法3种。
主观赋权法在确定权重时虽具有主观性,但在确定权重的排序方面具有较高的合理性,可以根据某个指标的重要性给予相应的权重,重要的指标赋予较大的权重,不重要的指标赋予较小的权重。客观赋权法的基本思路是利用指标的观测值进行赋权,这种方法不用考虑人的因素,权重的确定完全由统计数据得出。但在实际应用中较难得到足够的系统运行结果的实际数据,故应用主观赋权法更切合实际情况。因此,采用主观赋权法中的层次分析法来进行权重的计算。
(二)用层次分析法确定权重
层次分析法(Analytical Hierarchy Process,AHP)是美国运筹学家萨蒂(T.L.Saaty)于20世纪70年代提出的。它是一种新的定性分析与定量分析相结合的多目标决策分析方法。
AHP法的特点是通过分析复杂问题所包含的因素及其相互关系,将问题分解为不同的要素,并将这些要素归并为不同的层次,从而形成多层次结构,在每一层次按某一准则对该层元素进行逐对比较,建立判断矩阵。通过计算判断矩阵的最大特征值及对应的正交化特征向量,得出该层要素对于该准则的权重。尤其适合于人的定性判断起重要作用的、对决策结果难以直接准确计量的场合。本次研究构建的水管体制改革评估指标体系是一个多层次、多因素的系统,由于部分性能指标难以量化,无法避免要使用主观判断进行评价,所以采用层次分析法以降低评价结果的主观成分,增强客观性。尽管还是基于主观判断的基础上,但系统方法的使用大大减少了主观偏差。
运用层次分析法解决问题一般分五个步骤:一是明确问题;二是建立层次分析模型;三是建立判断矩阵和计算最大特征根及对应特征向量;四是进行层次单排序和判断矩阵一致性检验;五是进行层次总排序和一致性检验。
1.构造判断矩阵
在层次分析法中,为了决策判断定量化,当建立了分析层次后,即可逐层逐项进行两两比较,利用评分法来比较优劣。进行比较时可先从最低层开始,根据一定比率标度将其定量化。
如对于某实际问题,设X={x1,x2,…,xn}是全部因素的集合,则可请相关专家按表1-2所列各项的重要程度,对全部因素作两两对比,填写矩阵A=(aij)n×n,其中aij=f(xi,xj),A为判断矩阵,各因素的重要性(权重)W即为判断矩阵A的最大特征值的特征向量。
表1-2 判断矩阵函数f(x,y)的取值
2.层次单排序和一致性检验
计算出某层相对于上一层中某一元素的相对重要性的排序计算过程称为单排序。根据判断矩阵计算与上一层某元素有联系的本层元素重要性次序的权值即为层次单排序。
确定重要性(权重)W的方法如下:
首先将判断矩阵A的每一行元素相加,可得向量,即
然后将向量V=(v1,v2,…,vn)T正规化得
则W=(w1,w2,…,wn)T即为所求的特征向量。
计算判断矩阵的最大特征根λmax为
应用层次分析法应保持判断矩阵具有完全的一致性,即判断矩阵应满足
由矩阵理论知识,当矩阵具有完全一致性时,具有唯一非零的最大特征根λmax=n,其余特征根皆为零。因此,需要进行判断矩阵的一致性检验,引入了作为度量判断矩阵偏离的一致性指标CI,即
为了度量不同判断矩阵是否具有完全的一致性,再引入判断矩阵的平均随机一致性指标RI值,对1~9阶判断矩阵,RI值可查表得到。
判断矩阵的一致性指标CI与同阶平均随机一致性指标RI之比称为随机一致性比率,记为CR,即
由于1、2阶判断矩阵总是具有完全一致性,故RI只是形式上取为零值。当判断矩阵阶数大于2时,当随机一致性比率CR<0.10时,即认为判断矩阵具有满意的一致性;否则就需要调整判断矩阵,使之具有满意的一致性,满足CR<0.10。根据上述计算方法,通过专家咨询调查表,对本报告构建的评估指标体系各层次的判断矩阵进行单排序一致性检验计算,结果见表1-3~表1-6。
表1-3 A、B水管体制改革评估总目标判断矩阵
表1-4 B3、C“两费”落实判断矩阵
表1-5 B4、C管养分离判断矩阵
表1-6 B5、C人员分流与社会保障判断矩阵
由计算结果(表1-3~表1-6)可知,所有矩阵的CR值均不超过0.10,判断矩阵均满足一致性要求,能够用于权重的赋值。
3.层次总排序和一致性检验
计算同一层次所有因素对总目标相对重要性的排序权值,称层次总排序。层次总排序是层次分析法的最终目的,为实现此目的,还需在层次单排序的基础上进行层次总排序。它是用下一层次各个因素的权重和上一层次因素的组合权重,得到最下层因素相对于整个总目标的相对重要性。计算方法为:利用层次单排序的计算结果,依次沿递阶层次结构由上而下逐层计算,综合给出对更上一层的优劣顺序,就是层次总排序,即若已分别得到C1、C2、…、Cn对B1、B2、…、Bm的单排序权值如表1-7所示,和B1、B2、…、Bm对A的单排序权值a1、a2、…、am;则C1、C2、…、Cn对A的总排序权值即可由表1-7中右侧所列公式求出。
表1-7 层次总排序方法
依照上述方法对本评估指标体系进行总排序和一致性检验结果见表1-8,由计算结果可知,CR值不超过0.10,因此判断矩阵满足一致性要求。
表1-8 A、C层次总排序
续表
根据上面的分析,可以得到水管体制改革评估体系各指标的综合权重,详见表1-9。
表1-9 水管体制改革评估指标体系综合权重