摘要: 

　　民航航空器和部件维修的企业从规模、维修类别和深度各不相同，局方如何通过建立一个量化的审定和持续评估方法（系统），对企业的运行管理能力进行分类分级评价？发现运行管理中的短板和风险，客观评价企业的安全运行能力，实现精准监管；如何对局方在行业监管中采取措施的实施效果进行评估，对主任监察员的监察绩效进行评估，以达到提升监管效能的目标。 

　　一、 精准监管需解决的问题 

　　（一） 如何对行政相对人实施分类分级的精准监管？ 

　　（二） 编制检查计划的依据有哪些？针对行政相对人，哪些监管指标比较重要？ 

　　（三） 如何对行业监管效果进行绩效评估？ 

　　（四） 如何评估主任监察员的监管绩效？ 

　　二、 问题调研与分析 

　　针对上述几点问题，在监管局内部征求了监察员的意见，汇总以下几点意见和建议如下： 

　　（一）如何对辖区行政相对人实施精准监管？如何对辖区维修单位进行分类分级？ 

　　精准监管是为了合理分配监管资源，提高监管的针对性，从而提高监管质效。实现这个目的，就需要加强监管大数据集成和分析。 

　　1.局方现有的执法管理系统存在以下问题 

　　一是SES、FSOP、ASOP系统数据不能完全对接，监察员获取的被监管单位的安全数据不够全面。 

　　二是系统集成的数据只是直接呈现在综合看板上，没有经过任何加工、分析。这些数据能够反映一定问题，但对监管工作的指导性不强。 

　　2.建议 

　　一是尽快实现多种执法管理系统后台数据的融合对接。 

　　二是加强监管数据分析功能：理想的监管数据是根据被监管对象的被检查数量，发现的问题数量、处罚数量、强制数量和信用情况等，将监管对象的安全现状划分为类似红、黄、绿这样的等级，并在监察员编制计划，实施检查时进行推送，有助于监察员有针对性地开展监管。 

　　3.解决方案 

　　2017年5月上海监管局申请了民航局飞标司安全能力专项“维修系统体系化管理，数字化评价” ［1］，从2017年至2019年11月在上海辖区进行专项试点并于2019年年底通过结题评审，试点项目中包含精准监管，提升监管效能的目标。以精准监管在上海辖区维修单位中的试点实施项目为例，结合试点成果提出解决方案如下： 

　　首先，明确落实企业的三大责任，以法定自查为抓手，鼓励企业进行自律为主、自查为先的合规管理。 

　　精准监管是要寻找关键维度，对单位进行分级、分类有重点地监管。 

　　对不同企业进行关键维度的风险值评估，与管理卓越度/成熟度相联系，设计管理卓越度系数进行综合测评，以取得比较直观的风险分值，对企业进行分级管控和关键短板要素管控。 

　　卓越度评估单（以下简称SoE: Standard of Excellence），是对规章所要求的5个模块，26个要素，74个子要素的规章符合性管理情况，按照系统工程论-霍尔三维模型中逻辑维对要素管理卓越度/成熟度的5个层级分级（A列明问题、B系统设计、C系统综合、D量化建模、E持续改进最优化），从A到E制定各子要素的管理卓越度/成熟度分级标准。霍尔三维模型结构如下图2-1 霍尔三维结结构［2］ 

　　图2-2 管理卓越度/成熟度分级标准 

　　企业以现有的质量内审为抓手，开展法定自查，通过卓越度评估进行精准自画像，对74个CCAR145规章要求的子要素，进行管理成熟度评估，找到自身管理中的短板要素，明确未来改进方向和实现路径。 

　　局方进行趋势监管。找到关键环节，设计量化指标，进行趋势监控，及时发现偏差进行预防性检查、提醒和修正。 

　　选取维修单位规模（人员数量）、维修类别、偏差问题/事件、维修与运行类别、专业人员离职率等5个维修单位兼有的典型指标，按照各指标的分级标准进行风险评分，并对五个指标的风险分值进行累加，得到这五个典型指标的风险总分。再与维修单位各自的管理成熟度（系数）相乘，得到综合风险分。按照综合风险分划定低风险绿区，中风险黄区和高风险红区进行分级管理。 

　　（二）编制检查计划的依据有哪些？针对行政相对人，哪些监管指标比较重要？ 

　　1.编制检查计划的依据有哪些？ 

　　法律、法规、规章、规范性文件。 

　　2.行政相对人的监管指标？ 

　　监管指标应当具有可比较性，能够反映监管对象的安全现状，我们认为比较重要的指标有： 

　　一是行政相对人年检中被发现问题数量：反映了行政相对人整改问题的能力和配合监管的程度； 

　　二是行政约见、行政处罚和行政强制数量：反映相对人存在问题的严重程度； 

　　三是全年发生维修人为差错的数量：反映相对人配合监管的情况和安全问题的程度； 

　　四是不安全事件数量占总飞行量或总保障架次的比重；全年发生的维修不安全事件与维修人员数量之比（次/千人•年）：客观反映相对人的安全现状和辖区总体安全水平。 

　　（三）如何对辖区行业监管效果进行绩效评估？ 

　　建立统计分析模型，进行风险分值评价，并通过与历史数据进行比较，进行监管效果评估，同时监察员监管绩效的考评存在几个难点： 

　　一是监察员的工作量难以全面统计。目前系统所能统计的监察员承担的检查任务数量只能反映出监察员的部分工作量，其余大量的工作无法在执法系统中用数据统计，比如安全检查专项、调研、事件调查等。 

　　二是监管任务量不等于监管质量。比如，一个监察员检查的次数多但没有发现问题，一个监察员仅检查一次即发现关键的风险隐患，两者之间有本质区别。 

　　三是专业性质限制了监察员的监察工作量。不同的专业天然决定了监察员承担的工作量不一致，比如通常情况下，安全监管类监察员的工作量比综合类监察员的工作量多。如果单纯依靠工作量来横向比较不同类别监察员的监管绩效则有失偏颇。 

　　四是辖区单位的类型与数量影响监察员工作量。这点与专业性质类似，例如，如果辖区内维修单位更多的监管局维修专业监察员的工作量要大于辖区内维修单位少的。 

　　三、2019年上海辖区航空器维修单位监管评估与分析 

　　按照精准监管需要解决的4个主要问题，及其调研分析后提出的解决方案，以2019年上海辖区的维修单位为例，进行统计与分析。 

　　表3-1 维修单位分类、分级评估表 

　　表3-2 风险值和体系化管理卓越度（SOE）评估样表 

　　表3-3 风险值与卓越度评估统计表 

　　红色（高风险区域）：存在管理短板子要素（不合规的项目），管理方法和模式与企业运行规模、工作类别不匹配，需要按照体系化管理推荐的路径和方法，对短板要素改进管理方法以降低安全风险。应推动制定方案进行管理成熟度提升。（从红区向黄区转化） 

　　黄色（中风险区域）：能做到定性的合规管理，但是部分管理子要素的管理方法和模式与企业运行规模、工作类别不匹配，需要按照体系化管理推荐的路径和方法，对部分要素改进管理方法以降低安全风险。视公司实际情况，应推动制定追求卓越的管理方案，进行管理成熟度提升。（从黄区向绿区转化） 

　　绿色（低风险或安全区域）：企业管理卓越度/成熟度高，建立量化的指标体系对运行进行监控和管理，通过不断迭代优化管理，达到安全、质量、效率并重的公司。（可以考虑为免检单位，进行运行数据监控，趋势分析，发现较大运行偏差趋势时增加检查。） 

　　以上评估维修单位风险时主要选取了维修单位人员数量、维修类别、公司运行类别、人员离职率、发现问题/偏差事件等5个指标进行风险分值统计。 

　　某些指标的风险值对于单位来说不可改变，引用体系化管理中对各子要素的管理卓越/成熟度进行分级评估理念，对单位总体的管理卓越度/成熟度自低到高，分为A/B/C/D/E五个层级，E级为管理成熟度最高的层级，单位对各子要素的管控程度越高，风险越可控。 

　　设置体系化管理《维修单位质量安全系统卓越度标准》卓越度A/B/C/D/E五个层级的权重系数分别为：1.0/0.8/0.6/0.4/0.2，并与单位的风险值相乘，得到综合风险值。 

　　综合风险值=单位风险值X管理卓越度权重系数 

　　这样，就可以将不同规模、体量和维修类别的单位在同一尺度下进行统计比较。 

　　对辖区单位43家维修单位对规章与外部需求所要符合的5个模块、26个要素、74个子要素分别进行管理卓越/成熟度层级评估，综合各要素分级情况，得到总体管理成熟度层级。对风险值进行综合评估如下： 

　　表3-4 综合风险值统计表 

　　因此，可以得出以下结论： 

　　（一）X≥27且管理卓越/成熟度低于C的，处于红色高风险区域;9≤X＜27黄色中风险区域（9≤X＜18中低风险和18≤X＜27中高风险）; X＜9和X＜18且管理卓越度/成熟度在C以上的处于绿色安全低风险区域。 

　　（二）上海辖区共43家CCAR145维修单位，其中： 

　　1.有3家单位处于红色高风险区域,是重点监管单位。 

　　一是部分管理要素尚未合规或存在短板管理要素，管理卓越/成熟度与企业运行规模、工作类别不匹配。二是年检必检单位且是年度重点监管单位，通过对偏差事件的反向分析和系统原因分析，对照SoE查找短板管理要素、子要素及其管理成熟度；增加对短板管理要素的检查频次和抽样比例。三是公司应按照体系化管理推荐的路径和方法，对短板要素制定改进方案，进行管理成熟度提升，以减少偏差事件数量，降低安全风险，从红区向黄区转化。 

　　2.有19家单位处于黄色中风险区域，能做到合规管理，但是部分管理子要素的管理卓越/成熟度与企业运行规模、工作类别不匹配。其中： 

　　有8家单位综合风险值18＜X≤27处于黄色中高风险区域，属于风险可控，有中高风险的短板管理要素，必检单位，对照SOE查找短板管理子要素及其管理成熟度；适当增加对短板管理要素的检查频次和抽样比例。公司应按照体系化管理推荐的路径和方法，对短板要素制定改进方案，进行管理成熟度提升，以减少偏差事件数量，降低安全风险，从黄区向绿区转化。 

　　有11家单位综合风险值9≤X＜18中低风险，属于风险可控，有中低风险的短板管理子要素，对单位实施明确重点的年检。对照SOE查找短板管理子要素及其管理成熟度；对短板管理子要素进行针对性的检查和抽样。公司应按照体系化管理推荐的路径和方法，对短板要素制定改进方案，进行管理成熟度提升，以减少偏差事件数量，降低安全风险，从黄区向绿区转化。 

　　3.有21家单位处于低风险区域，其中，14家单位综合风险值低于9；7家单位综合风险值低于18，卓越度高于C级；处于绿区的共有18家，3家处于A管理卓越度的单位,需要推进法定自查。处于绿色区域的单位，可以考虑作为三年一次年检或免年检单位。鼓励企业通过质量内审或建立程序开展法定自查，自我管理，自我提升。 

　　（三）监管有效性的评估与主任监察员绩效评估 

　　1.维修单位的综合评估统计符合正态分布规律: 

　　数学期望值μ=； 

　　X - N(μ,)=N(13.563,8.064)。 

　　表3-5 维修单位的综合评估统计符合正态分布数据 

　　图3-1 综合风险值频率直方图和正态分布图 

　　2.2019年辖区43家单位的风险均值为18.814，综合风险均值（数学期望值）μ为13.563。2018年辖区人为差错数量为23起，2019年为8起，减少风险值9x(23-8)=135分，μ减少3.14分。说明2019年的重点监管措施发挥作用。综合风险值（数学期望值）μ＜10.8是我们的理想目标值。上海辖区2019年的维修差错率在1.1至1.2次/千人•年。 

　　3.处于正向单侧置信区间X≥29.6（μ+2σ）内的单位为重点监管单位。 

　　4.评估每年的置信区间值和比较的变化，衡量实施体系化管理后的行业管理效率和主任适航监察员的监管推动作用。更加精准的评估可以通过对体系化管理的5个模块，26个要素，74个子要素的设置指标进行更加精准的评估、趋势监控并且实施精准监管和有效性评估。 

　　5.推动辖区单位开展体系化管理，以实现质量、安全和效率并重的高质量发展。局方通过对运行规模，保障能力和安全管理成熟度评价为基础，结合运行质量、安全记录和诚信遵章评价结果，实施更为精准的差异化监管。 

　　四、精准监管试点实施标准的效果验证和持续改进 

　　1.每年对辖区维修单位进行信息收集和评估，并通过分析数据对比，评估综合施策的效果：短板子要素清单和隐患清单中的子要素及其关键环节指标设计准不准，措施是否精准到位？对处于红色高风险区域的单位，通过SOE分析，找到短板子要素，明确抽样比例，检查频次等，制定精准监管计划，推动公司落实资源，补短板。 

　　2.每年对上一年度的维修人为差错、主要偏差事件和发现问题进行统计，对典型人为差错和偏差事件进行分析，更新发布辖区行业风险清单和隐患清单，制定监管重点，召集行业研讨会共享信息，预防与减少人为差错。 

　　3.辖区单位情况统计情况符合正态分布，辖区单位每年情况进行综合风险值统计对比分析辖区的总体安全趋势；根据不同的主任监察员对辖区单位的管理，计算样本平均偏差σ，通过与综合风险值μ的对比可以反映主任监察员的监察效果，平均偏差σ越小，说明PMI的管理措施越精准、有效。 

　　4.对维修单位安全质量系统卓越标准（SoE）和其中推荐的结构化的方法的意见和建议进行定期收集并评估修订，使之越来越精准和实用。（作者：黄燕飞 民航华东地区管理局） 

　　参考文献 

　　［1］爱德华.克劳利、布鲁斯.卡梅隆、丹尼尔.塞瓦尔.《系统架构-复杂系统的产品设计与开发》［Ｍ］.北京：机械工业出版社，2019.6 P.9 

　　［2］汪应洛.《系统工程》［Ｍ］.第五版.北京：机械工业出版社 2015.12 P.15