关于评价问题的一些思考

作 者: 李艳伟 | 编 辑:张薇 2020-09-02 09:33:00

  “评价”一直在我国民航运输发展的理论与实践中发挥着重要作用。从航空枢纽建设到中小机场发展,从行业整体效率到企业个体在市场上的竞争,从机场选址到航司运营基地选择,都遇到过大量的比对、对标等场景,这些都可归类为评价问题。本文结合作者从事民航运输研究工作的体会,简要谈谈对评价问题的几点思考。 

  一、为什么要进行评价? 

  在评价工作开展之前,首先需要明确为什么要进行评价,作者认为评价工作的主要目的有四个。 

  (一)横向对比找差距 

  评价经常被用于寻找与对比对象的优势、差距。管理者可以在国家、区域、企业等不同层面,依据所选指标进行对比。例如,不同国家全要素生产效率的对比、不同省市单位土地面积经济效率对比,都属于横向对比范畴。在民航运输业内经常表现为不同枢纽、运输企业间的运输规模、收入/利润水平、网络连通性等方面的比对。例如,在龙汉良等人的近期研究中,对中外主要航司的竞争力水平进行了评价,给出14个航空公司的竞争力综合评价结果,如下表所示。该评价属于横向对比寻找优势、差距的评价问题。 

 

  (二)纵向对比看变化 

  纵向对比是把研究对象放在时间轴上,拉长比较的时间维度,考察评价对象在某个具体指标下,在某一段时间内的变化情况。当然也可以是多个评价对象在某时间段内的变化情况。纵向对比可以为我们提供对事物动态观察的视角。例如下图中,东京成田机场、羽田机场通往洛杉矶机场的航班周频变化,可以判断出东京两场在具体航点上运营策略的调整。 

 

  1东京成田机场与羽田机场通往洛杉矶机场周频变化 

  (三)对照标准检查规范、达标程度 

  评价的第三个重要作用是,对照标准,进行规范性、达标程度的检查。例如,年度体检给个人出具的体检报告中,对应的体检指标除了提供具体的数值外,还会提供该指标健康程度的参考值,为个人健康状况诊断提供判断依据。在民航日常工作中,其对应的就是不同流程、操作的业务标准。这个“标准数值”一般由行业政府部门,或者行业协会提供参考依据(大多数时候也表现为强制执行的标准)。 

  对于确定含义的概念、流程、操作,是较为容易设定参考标准值的。但在日常具体工作中,也存在很多难以界定,或取得广泛认可的标准值。例如对“中型机场”概念的规模界定,作者认为旅客吞吐量在1000-4000万人次的是中型机场,同时也有业内专家认为,运输规模在200-1000万人次的是中型机场。如此等等,对于概念,及涉及指标标准值的确定,是最易产生争议及矛盾的环节。 

  (四)提供资源配置的依据 

  评价的另外一个重要作用就是为资源配置提供依据。这方面应用在行业内外都有着丰富、鲜活的体现。民航运输业中航权配置、航班时刻资源配置,目前都主要依靠评价方法进行配置。微观资源配置方面,在企业内部控制、各种考核中,评价也被作为重要手段。依据评价结果,进行资源的分配。 

  二、评价指标的作用是什么? 

  在明确了评价的目的后,再聊聊评价指标。评价指标在整体评价工作中主要表现为如下两方面作用。 

  (一)使概念性、抽象问题结构化 

  评价指标的设置可以使概念性的抽象问题变得结构化,可处理。例如在高校奖学金评定问题中,选择“最优秀”的学生作为一等奖学金的获得者。“最优秀”是个抽象概念,为了使奖学金评比有解,我们需要制订出能够表达“优秀”内涵的评价指标体系,把“优秀”分解到各科成绩、论文发表、参与科研情况等可评价的方面。评价指标的设置,使得原来概念性、抽象问题进一步结构化,使模糊问题具体化。对于机场运营效率、服务满意度、航空公司服务满意度等问题的分析,同样需要依靠指标体系的设计得以具象化。 

  (二)决定评价结果的符合性 

  评价结果符合性是指评价结果对评价问题本质的反映程度。评价指标设置对符合性产生直接影响。例如,选择“学习成绩最优秀”的学生作为专项奖学金的候选人,学生们的百米跑速度不适宜作为评价指标;若选择“跑步速度最快”的学生参加运动会,百米跑速度就可以成为最适合的指标。因此,需要依据评价目标及要达到的效果,选取最贴切的评价指标,尽可能充分反映问题本质。“最贴切”的指标选择,需要依靠理论的严密性从繁琐的实践工作中提炼,以确保指标对未来发展具有指导意义。 

  三、评价指标设置需要考虑哪些原则? 

  依据评价问题性质,每个评价问题指标设置的原则都会有差异,但总体来说需要从以下三方面权衡指标设置原则。 

  (一)全面性与核心性 

  在评价指标体系设计中,全面性指指标体系要能全面反映评价对象的各方面。但在实际操作中,人们受到对事物认识水平的限制,或者认识工具的限制,几乎不可能做到对评价对象的全方位认识。并且指标对评价对象的全方面覆盖往往会导致指标数量过多,对数据收集、评价方法与过程设计都是很大的挑战。较为全面的评价也往往需要投入更多的时间,存在错过最佳决策时机的风险。 

  在全面性考虑的基础上,选择具有核心性、代表性的指标作为评价依据。但是“核心性”“代表性”本身也需要极强的专业知识、逻辑判断能力,才能使指标的挑选更具科学性。 

  (二)客观性与主观性 

  “客观性指标”也常被称为“定量指标”,指可以从统计数据中直接获得指标值的指标。“主观性指标”指“定性指标”,不能从统计数据中直接获得统计值,需要依靠问卷、专家综合判断给出指标值。两类指标各有特点,在指标体系中起到不同作用。客观性指标具备客观、实事求是的特点,但反映维度单一;主观性指标具备综合性特点,但受人为因素影响较大。不同的评价问题,需要在两者之间权衡数量占比。 

  (三)可操作与复杂性 

  可操作性指指标数值易获取,评价方法可操作性高。复杂性指指标数据不易获取,需要多重计算才能得到,指标权重确定、综合评价方法复杂程度高。目前在评价问题中存在两种极端倾向,一是认为“复杂”就是过于理论化、不实用的,二是可操性高就是不科学、不可信的。在具体的评价问题中,决策者需要在两者之间进行权衡,选用对决策效果、效率支持度高的方式开展工作。 

  四、评价方法对评价结果的影响 

  除了评价指标体系设置对评价结果产生影响外,评价方法的选择也将对评价结果产生影响。 

  (一)指标权重确定 

  赋予指标体系中的指标不同权重,会改变最终评价结果。例如:甲的数学60分、语文90分、英语60分,乙的数学90分、语文60分、英语60分,若三科成绩等权重都为1/3,甲的加权和成绩为71分,乙的加权和成绩也为71分。若给三科功课0.20.50.3不同的权重,强化甲在语文学科的优势,当再次计算加权成绩总和时甲胜出。指标权重的确定方法非常多,整体上分为客观权重法与主观权重法。但不管用何种方法确定权重,不同的指标权重会直接对评价结果产生影响。 

  (二)综合评价方法 

  针对指标体系的不同层级及评价目的,确定是否采用综合评价方法,还是在底层指标的对比中即可达到评价目标。对综合评价方法介绍的文章可谓汗牛充栋,但如果评价指标体系确定、指标值确定、权重确定,即使选用不同的综合评价方法,虽然结果表达形式会有差异,但对评价的排序结果不产生决定性影响。 

  五、评价工作开展中需要注意的问题 

  最后聊聊评价工作开展中几个需要注意的问题。 

  (一)确定是否为评价问题 

  管理者在面对现实问题并寻求解决方案的过程中,首先要意识到这个问题是否为评价问题?实际工作中,“评价问题”并不一定以复杂的面貌出现在我们面前。只要有“比较”的意味,都可以归类为评价问题。例如网络通达性、流程效率、旅客满意度高低等问题,都是评价问题。一旦确定为评价问题,前文中的各项环节与注意事项都需要纳入思考范畴,即使这些环节在实际工作中往往得到了大量简化。 

  (二)分类评价 

  在评价工作中,分类评价得到越来越多的应用与认可。分类评价是指把同类别的评价对象放在一起比对,以增强评价结果的可借鉴、可对比性。例如,在“机场国际竞争力”评价问题把首都机场、浦东机场与揭阳潮汕机场放在一起对比评价,就显然是不适合的。三者的规模量级、在机场体系中的地位作用都完全不同,在国际竞争力维度不适宜放在同类别中比较。“类别范围”的划分,与评价对象的选取对评价目标的达成产生影响。 

  (三)评价是手段,不是目的 

  在实际评价工作中,我们也应时刻意识到:评价是手段,不是目的,不能为了评价而评价。以评促建、以评促改,通过评价寻找优势或者短板,强化评价过程中体现出的优势,制订短板改进措施,寻找应对策略,才是评价的目的。 

  (四)增加评价指标的弹性 

  另外一个在实际评价过程中需要注意的是“评价指标的弹性”。评价指标在固定考察周期内保持一定的稳定性,对管理目标的实现非常重要。评价问题往往与标准、准则、资源配置相关联,评价指标若频繁变化,容易给人以朝令夕改的感受,不利于管理目标实现。但这并不意味着评价指标体系一旦确定后就不再修正。应根据评价结果是否有利于促进问题整改、是否有利于效率提升、管理目标实现等为依据,不断动态微调(优化)指标体系结构,更好发挥评价手段的管理作用。 

  (五)增强对评价结果的解释 

  评价结果往往以排名、数值高底给出显示性结果。建议在评价工作中,增强对评价结果的解释工作。对形成评价结果的原因进行深入挖掘,往往形成结果的原因,才更是我们需要关注的重点。 

  最后想强调的是,评价工作从指标体系设置、权重设定、评价对象选取、评价方法设计、评价结果解释,是个完整的逻辑整体,每个环节都会对管理者的最终决策产生影响。评价工作的科学性需要每个环节的努力与衔接。 (作者:李艳伟,中国民航新型智库专家)