基于安全绩效综合评价的重点监管机制研究及应用
摘要:“检查”结果的片段式与“决策”系统性要求之间的冲突是监管供给侧结构性矛盾的核心,本文以此为出发,论证了构建基于局方视角的企业安全绩效综合评价体系及重点监管机制是连接“检查”与“决策”的机制选择。在评价方法上,采用限制性因子评价法,通过区分指标属性和平行评价,找出最低限制因素并得出安全绩效结果,更加贴近木桶原理;在指标体系选择上,最大化利用现行监管的“检查”结果,并引入基于风险预测的专业评估;在评价方法上,采用定性定量结合方式,尊重定性评价的专业价值,引入决策评估机制,体现了“决策”价值;在重点监管机制上,设计了7个标准步骤和方法,可参考可复制可推广。最后通过在对辖区6大运输机场监管中的运用,实证了该机制的实效性。
关键词:安全绩效,限制性评价法,重点监管机制
构建基于安全绩效综合评价的重点监管机制,既是连结执行与决策、监督与管理、微观与宏观的支点,也是转变监管方式、提升安全监管能力、提高监管匹配度,破除监管的供给与运输需求矛盾的机制选择。
一、监管逻辑冲突与机制选择
转变监管方式,主攻方向是实现“从盯事件、盯岗位转到盯组织、盯系统”。途径是既提高监管的系统性,又要通过对“组织、系统”的综合判断,优化监管资源配置,实施“分类分级监督管理”。转变监管方式的机制选择取决于监管自身的逻辑冲突。
(一)解构
完整的监管闭环由检查、决策(判断)、决策实施(对判断结果的反应)、再检查四个部分组成,根据其属性可分为“检查”(检查、再检查)和“决策”(决策、决策实施)两个部分。
(二)关联
因为“组织、系统”是由多个“岗位、个人”及其关系组成的抽象合集,因此“检查”通过对具体的“岗位、个人”进行评判,其结果的合集构成了“决策”的对象,“决策”结果反映了“组织、系统”的整体运行状态,反作用于“检查”及其组织。
(三)冲突
“检查”是以“盯岗位、盯个人”驱动的行为,更偏向水平专业化、结果是分散式、片段式的。也正因如此,法规、规章、标准作为一种普遍的规范性守则,对“检查”应遵守的准则和评判标准进行清晰的规范,符合其基本逻辑;而“决策”是基于“检查”结果对“组织、系统”的综合评估与系统性判断,更偏向垂直专业化、更依赖决策者经验和判断力。这种“检查”结果的片段式与“决策”的系统性要求之间的冲突,是约束监管效能、影响监管供给的症结所在。
因此机制选择是建立“检查”与“决策”之间的有效衔接,①建立基于“检查”结果总和的企业安全绩效综合评估体系,既不改变“检查”既有的方式方法,又为“检查”结果的运用提供系统性分析框架;②根据“决策”结果建立重点监管机制,为“检查”的组织优化提供科学依据。
二、安全绩效综合评价体系设计的基本思路
安全绩效综合评价与重点监管机制是“源”与“流”的关系。有关安全绩效综合评价体系设计,应遵循以下几个方面的原则。
(一)安全绩效内涵与指标设计
有关安全绩效(safety performance)的定义,如吴聪智认为其是组织安全管理系统在安全运作上的整体表现,谢美凤认为是组织成员在工作上对安全课题的整体表现,包括安全管理和事故统计,刘素梅认为是一段时期内事故发生、职业伤害情况与企业安全工作系统整体运行状况的综合等。上述定义均反映了安全绩效的两个衡量标准:一是事故发生情况,二是企业现实表现。然而,①在民航业内,以事故作为安全绩效的衡量相对片面,更为准确的指标是不安全事件。②企业现实表现除受企业安全运行能力影响,还与企业安全运行的外部要求有关,因此本文认为安全绩效的内涵应为:一段时期内企业安全运行的结果和安全运行能力匹配度的总和。其指标体系应至少包括:安全运行结果指标、安全运行能力匹配度指标。
(二)安全绩效评价视角与评价模式选择
目前现行研究如孙瑞山等引入人-机-环-管模型,建立了航空公司安全绩效评价模型;马国忠等整个民航系统进行安全评估,於秋凤等引入物元分析法,对民航系统安全进行定量的分析与评判,上述学者均以企业角度,采用多因子评价法进行绩效评估。但安全的木桶原理告诉我们“安全风险不是取决于最好的方面,而是最坏的方面”,因此本文从局方监管视角出发,采用限制性因子评价法。目前有关限制因子评价应用,如王衍洋等考虑了不安全事件发生次数、频率及其后果;卢贤锋等通过不安全事件和安全审计结果对机场行业安全进行评估,但对这些研究对限制因子选择略显单一。
本文建立的安全绩效评估体系是基于行业监管视角的限制因子综合评价,这是因为①行业监管结果可提供更为丰富的限制因子②行业监管因其有其明确的评价标准和输出结果,更具全面性、合理性和权威性。
(三)评价方法的选择
现行的评价法有事故树、事件数法、风险判定矩阵法、危险系数评价法、可靠度评价法、在具体的评判方法上有打分法、比值法、层次分析法、模糊评价法等。无论何种方法,以安全绩效为内容的限制性评价宜采用定性定量结合的方式,避免过度量化。这是因为①定性指标定量化过程一定程度地消弭了其专业分析的价值;②指标赋值和归一化过程固化了各项指标的位次,然而实际安全管理中各类指标权重因时因势在不断变化;③最重要的是:量化过程及结果代替了决策者判断,而实际中决策者考虑的因素更为复杂深刻。
因此,本文中采用安全绩效评估的方法①根据指标属性和影响程度,将指标进行分类分级;②对不同类别的一级指标进行平行判断,每项指标均完整的纳入决策判断;③不强行量化定性评价结果,保留其专业分析的价值;④引入决策评估,决策者可根据上述平行指标结果进行综合判断,体现决策价值。
三、基于安全绩效综合评价的重点监管机制设想
(一)指标构成及属性
1.企业安全运行结果的指标。主要是不安全事件。其定义为:企业主动报告或局方掌握的,在民用航空器运行阶段或机场活动区内发生的航空器损伤、人员伤亡或者其它影响飞行安全的事件。包括:责任原因一般事件、一般事故症候、严重事故症候、事故。
2.企业安全运行能力匹配度的指标。主要为:行政检查结果,专业评价、守法守信信用记录、近期运行风险评估;①“行政检查结果”定义为:根据监管事项清单及FSOP检查项目对某一企业进行行政检查的具体结果,包括:整改项、处罚项;②“专业评价”定义为:相关专业对所监管企业对口专业的安全管理和安全运行,包括不限于人员、设备、运行情况的规章符合性综合评价;③“守法守信信用情况”。④近期运行风险评估定义:对企业可预期的一段时间内因人员、设备、管理、环境发生重大变更导致安全运行风险上升可能性的评估,如不停航施工风险、引进飞机风险、重大人员变更风险、即将承担重大运输任务,但企业能力尚不匹配等风险。
前三类指标是对企业业已完成的运行能力进行评估,后一类是对近期风险的预测指标。
3.指标属性。根据限制因子的等级,又将指标分为一般性指标、审查性指标和决定性指标。见表3-1。
“一般性指标”定义为:该指标不对绩效评价结果产生特殊性影响,如责任原因一般事件等;
“否决性指标”定义为:该指标对绩效评价结果产生否决性影响。如发生责任原因事故、守法守信记录不良等。
“审查”定义为:由于事件性质、频次、危害程度的差异,该指标对绩效评价结果影响可能介于一般性指标和否决性指标之间,应予以审查。审查者应为本级行政单位决策者,各专业可提供参考意见。
表3-1 企业安全绩效评价指标及属性
(二)重点监管机制及实施过程
1.重点监管机制由安全绩效综合评价、决策评估、重点监管三个部分构成。见图3-1。
图3-1:基于安全绩效评价的分类分级监管机制总体框架
2.决策评估。决策评估是本级行政单位决策机构(安委会)基于安全绩效综合评价结果,对企业安全类别的判定,评估矩阵(参考)见表3-2。它是对安全绩效综合评价结果的修正,反映的是决策者思维。
表3-2 决策评估矩阵(参考)
3.重点监管。根据决策评估结果,将企业分为三类并实施三种差别化监管。其中一类企业鼓励发展,实施最低限度监管;二类企业正常对待,实施常态化监管;三类企业实施最严格监管,视情申请限制运行等其它措施。
(三)评价标准及方法(以机场/航空公司为例)
1.指标A(1)∈定量∪一般性,以事件发生频次(∑A/起降架次数)为标准,与行业(辖区)均值进行评价,矩阵见表3-3。
表3-3 A(1)指标判定矩阵
2. 指标A(23) / B(2)∈定量∪审查,指标A(4)∈否决性指标,①若指标A(23) / B(2)发生频次<N次/周期(年),则在评价结果中列明具体事项,提交安委会予以审查,②若指标A(23) / B(2)发生频次>=N次/周期(年),则可直接确定为否决性指标。矩阵见表3-4。
表3-4 A(234)指标评价指标判定矩阵
3.B(1)∈定量∪一般性,一般的,可对B(1)进行量化评价,但由于不同整改项的影响判断更多的属于价值判断范畴,为操作方便,将B(1)纳入B(3)中进行综合判断。
指标B(13)∈一般性,则B=∑(评分值X权重系数)/评价处室数。评分表见表3-5。
表3-5 B(123) 指标评分表
各处室权重系数基准值为1,可根据比值法,或层次分析法进行确定,为简便操作,也可以对各专业权重系数直接进行赋值。
5.指标B(5)∈审查,评价方法为:由各专业处室在上述评价后,根据专业特点,对被评价企业近期运行风险进行定性描述。B(5) 的影响度交由决策评估环节进行评估。
四、标准步骤及实证分析
本文选取监管局辖区内6大运输机场为样本,通过7个标准步骤演示重点监管机制的运用,并根据2017年实施效果对其进行实证。
(一)步骤一:统计A指标
统计各运输机场A(1)A(2)指标见下表4-6。
表4-6 2016年浙江辖区6大运输机场A(1)A(2)指标数值
(二)步骤二:计算A指标判断矩阵
根据表3-3计算出2016年机场A(1)指标评价矩阵,见表4-7。
表4-7 2016年浙江辖区机场A(12)指标评价分值
(三)步骤三:A指标评价
对比表4-6与表4-7,得出6大机场企业安全运行现状等级,见表4-8:
表4-8 2016年浙江辖区6大运输机场运行现状等级
(四)步骤四:B指标评价
监管局各专业处室分别对6大运输机场B指标进行定性评价,综合后得出结论,见表4-9。
表4-9 2016年浙江辖区6大机场B指标综合评价得分表
|
机场 |
指标 |
评价结果 |
|||||
|
H机场 |
B1(项) |
运输 |
飞标 |
适航 |
航务 |
机场 |
空防 |
|
17 |
4 |
10 |
0 |
4 |
3 |
||
|
B2(起) |
描述:因外来人员非法入侵未及时阻止被行政处罚 状态:已整改 |
||||||
|
B(3) |
近期运行风险评估: 1航班正常管理有待加强 |
||||||
|
B4 |
—— |
||||||
|
B5 |
—— |
||||||
|
综合评分 |
4.42 |
||||||
|
N机场 |
B1(项) |
运输 |
飞标 |
适航 |
航务 |
机场 |
空防 |
|
10 |
4 |
6 |
0 |
4 |
11 |
||
|
B2(起) |
—— |
||||||
|
B(3) |
运行风险评估: 1航班正常管理有待加强 2内部管理能力偏弱,软硬件跟不上发展速度 |
||||||
|
B4 |
—— |
||||||
|
B5 |
目前机场冲刺千万,处于快速发展期,软硬件能力偏弱 |
||||||
|
综合评分 |
7.79 |
||||||
|
Y机场 |
B1(项) |
运输 |
飞标 |
适航 |
航务 |
机场 |
空防 |
|
13 |
4 |
4 |
2 |
6 |
4 |
||
|
B2(起) |
—— |
||||||
|
B(3) |
运行风险评估: 1长期大范围不停航施工,工程复杂,程序需多次转换; 2.飞行程序转换,易引发管制员、飞行员人为差错; 3.机场安检压力较大; 4.临时围界较长,容易发生入侵事件 |
||||||
|
B4 |
—— |
||||||
|
B5 |
即将长时间大范围不停航施工,存在较大风险 |
||||||
|
综合评分 |
8.72 |
||||||
|
T机场 |
B1(项) |
运输 |
飞标 |
适航 |
航务 |
机场 |
空防 |
|
10 |
0 |
6 |
1 |
0 |
12 |
||
|
B2(起) |
—— |
||||||
|
B(3) |
运行风险评估: 1.安检压力较大 2.危险品管理不规范 |
||||||
|
B4 |
—— |
||||||
|
B5 |
—— |
||||||
|
综合评分 |
6.67 |
||||||
|
Z机场 |
B1(项) |
运输 |
飞标 |
适航 |
航务 |
机场 |
空防 |
|
4 |
2 |
7 |
0 |
7 |
7 |
||
|
B2(起) |
因人员未获得执照上岗被行政处罚 已整改 |
||||||
|
B(3) |
运行风险评估: 1.安检压力较大 |
||||||
|
B4 |
—— |
||||||
|
B5 |
—— |
||||||
|
综合评分 |
8.01 |
||||||
|
Q机场 |
B1(项) |
运输 |
飞标 |
适航 |
航务 |
机场 |
空防 |
|
8 |
4 |
0 |
1 |
3 |
6 |
||
|
B2(起) |
—— |
||||||
|
B(3) |
运行风险评估: 1.危险品管理有待加强 |
||||||
|
B4 |
—— |
||||||
|
B5 |
—— |
||||||
|
综合评分 |
7.56 |
||||||
(五)步骤五:汇总提交
平行汇总各运输机场上述计算指标,结果见表4-10。
表4-10 2016年浙江辖区6大运输机场安全绩效综合评价结果
(六)步骤六:对待审查指标进行审查
根据表4-10,对6大运输机场对待审查指标进行评估,结论如下。
A.H机场。①A(2)指标指向的“4.22”事件中偶发性因素大于系统性因素,性质较轻,归属于一般性指标;②B(2)反映的围界入侵风险,机场方面整改已到位,且H机场业务量较大(占辖区60%),综合实力较强,管理能力和水平较好,近期运行环境无明显变更,归属于一般性指标。
B.N机场。①A(2)指标指向“4.28”事件属系统性风险,暴露出安全管理能力不足的问题,归属于特殊性指标。②B(5)指标反映出对机场快速发展期安全管理能力的担忧。综上所述,N机场因A(2)指标和B(5)指标,应直接纳入重点监管对象。
C.Y机场。B(5)指标反映出Y机场长时间大面积不停航施工风险,应直接纳入重点监管对象。
D.Z机场。B(2)指标反映的未获得执照上岗问题,反映企业安检方面存在的问题,目前已整改落实,归属于一般性指标。
(七)步骤七:决策
综合审查后结果,参照表3-2进行决策评估,得出6大运输机场决策结果,见表4-11。
表4-11 辖区6大运输机场决策评估矩阵
(八)实证效果
实施重点监管以来,2017年全年6大机场仅H机场发生一起责任区内鸟击一般事故症候,其它机场均未发生一般事件等级以上不安全事件,尽管2017年Y机场因不停航施工引发地形警告55起,未发生一起责任原因事故症候。
五、结论与不足
(一)结论
1.基于安全绩效综合评价的重点监管机制搭建了“检查”与“决策” 之间的桥梁,既契合了“检查”固有的工作模式,也为决策者提供更完整的企业安全绩效评估参考;
2.安全绩效综合评价体系采用定性定量结合的评估方法和平行展示的做法,最大程度的反映了价值判断结论;
3.重点监管机制为实现《民用航空行政检查工作规则》中有关行政检查计划编制、变更和《安全生产法》“分级分类”监管提供了依据。
(二)不足
1.受限于目前不安全事件统计和责任原因分析的完整性,A(12)指标数据尚不能准确反映企业安全运行现状;
2.单个辖区企业数量有限,不同规模不同类别企业A(12)指标对比样本较少;
3.目前为操作简便,B类指标采用综合定性评价,如何将基于监管事项清单的检查结论完整反映到B类指标中还有待监管的进一步数据化。

