• 登录  |  注册

  • 基于循证管理法,优化飞行员训练检查标准体系

    刘化宝 编 辑:陈虹莹 2021-11-02 09:28:00

      摘要:随着航空器设备和运行环境复杂程度的不断提高,民航黑天鹅事件层出不穷,传统的基于反应式的飞行训练逐渐显露不足。为落实局方关于飞行训练改革的要求,有效提高飞行员应对突发事件的能力,进而提升航空公司的运行安全水平,本文依据循证管理法,从飞行训练的最重要一环——检查员管理——切入,通过发放调查问卷、集中研讨等形式总结航司训练检查的关键“痛点”,并明确提出“检查员胜任素质模型”,最后结合实际从五个方面对优化检查方案提出了可推广、可借鉴的政策建议。

    一、循证管理法在运输航空公司飞行训练的应用的提出

    (一)循证管理法介绍

      循证管理法的理论是在20世纪80年代提出的,其主要是以当时已经被大众所关注的循证理论为基础,其早期被应用在教学领域、犯罪学领域、法学领域、医学领域等多个方面,在近年来才被应用在人力资源管理工作上,并极大程度地提高了人力资源管理部门的效能,因此部分研究者认为应该将这一理论在人力资源管理工作中进行推广。

      循证管理通过将建立在科学证据之上的科学管理原理,转变为组织行为,使得组织决策从依据个人偏好和不系统的经验转变成为基于最佳科学证据采取行动;循证管理要求组织的决策必须是基于真正的事实;听取事实真相、获取事实数据,并以此作为行动指南。

    (二)民航局将循证理念引入飞行训练

      近年来,民航局先后发布了《关于全面深化运输航空公司飞行训练改革的指导意见》和《中国民航运输航空飞行员技能全生命周期管理体系(PLM)建设实施路线图》,要求航空公司要充分挖掘日常的各类数据,让训练、运行、安全管理做到有据可依,其本质在飞行训练中引入循证理念。

      航空公司的飞行数据主要包括飞行QAR数据、飞行运行管理数据、安全事件数据以及日常训练数据等。前三项在航司的开发应用中较为广泛,而日常训练数据(比如模拟机训练和检查数据)开发利用的较少。如何充分利用模拟机教员和检查员填写的飞行训练表单,尤其是检查员在履职中发现的问题、合理量化评价一个人的能力,是飞行训练管理中一直在思考的问题,也是本文重点分析的问题。下面将从检查员现状分析入手,找出飞行训练检查中的关键痛点。

    二、检查员现状分析

    (一)局方关于检查员管理的现状分析

      2021年初某地区管理局召开“飞行检查委任代表会议”,汇报了辖区内委任代表在2020年工作中的整体表现,也通报了部分委任代表在履职过程中存在问题。主要体现在以下三个方面:

      通过率偏高。其中实践考试和熟练检查通过率均为100%的委任代表达到了110名,占比26.83%;熟练检查通过率100%的委任代表达到了225名,占比54.9%;实践考试通过率100%的委任代表达到了168名,占比41%。全民航实践考试通过率超过 95%,运输航空公司飞行检查委任代表共计636人,占比47%。

      工作报告缺失内容。委任代表提交的年度报告缺失必须涵盖“三要素”内容的占比较高。

      责任心不够,监察、管理有待进一步提高。比如个别委任代表存在检查时间不够、讲评时间过短,表单填写错误,工作报告出现雷同,报告通过率与实际数据不相符,检查场次数据严重错误等等。

    (二)某航司检查员现状分析

      针对局方对委任代表管理发现的上述问题,本人对于某航司内部的检查员现状进行摸底分析。通过详细梳理某航司近五年来的检查情况,重点围绕“检查通过率、表单退单次数、申诉情况调查、表单填写质量、检查标准不统一”等几个方面,通过发放调查问卷、集中研讨等形式,发现航司训练检查中检查员存在的问题。

      通过资质管理系统的数据分析,从中提出问题假设;梳理检查流程、分析检查过程中存在问题,通过对部分在飞飞行员和检查员的调查与访谈、研究过往的检查过程与记录,从中发现问题,验证问题假设的有效性;从而研究问题的解决方法,对症下药,研究新的检查员管理与培训方案。

      (注:本论文中所有数据,均为处理之后数据,非实际运行数据。)

     

      图2-1 基于循证管理法统一检查标准工作思路

    1.基于资质管理系统数据分析发现的检查问题,提出问题假设

      (1)公司飞行队伍现状

     

      表2-1 公司飞行队全现状表

      (2)2018-2019年实践考试、熟练检查的通过率

     

      表2-2 实践考试、熟练检查的通过率表

      (3)近5年升级、初始检查通过率波动的情况

     

      图2-2 近5年升级、初始检查通过率波动

      随着时间的变化,升级、初始实践考试的通过率出现较大的波动。升级通过率最高为81%,最低为40%;初始通过率最高为96.4%,最低为72.5%。检查通过率出现偏差波动,因此提出假设:检查员评判标准差异性大,检查标准出现明显的偏差波动。

      (4)局方表单退单次数统计

     

      表2-3 局方表单退单次数统计表

      自2019年10月公司记录局方表单退单的信息,以上为这6个月的统计情况。可以看出退单次数较多,并且有个别检查员因局方表单被退次数较多而被暂停委任代表资质,这反映了检查员关注细节的能力、信息收集能力存在不足。

      (5)每年的申诉次数和申诉成功的情况

     

      表2-4 每年的申诉次数和申诉成功的情况表

      从上述申诉数据可以看出,近几年申诉次数大致上涨,而且申诉成功次数也增多。近期的几次申诉事件的调查明显反映检查标准的把握不一致,检查流程执行不规范,检查科目设置不严谨、反复叠加等问题。

      (6)表单填写质量分析

      包括:全满意次数/已填表单总数;评语较少的科目数/需要填写评语的科目总数。

     

      表2-5 表单填写质量分析表

      从上述两个数据可以看出,训练表单填写质量不高,检查员在填写训练记录时存在全满意比例高、评语较少的问题,一定程度上反映了检查员的敬业态度,信息收集记录能力的欠缺。

    2.梳理检查流程、分析检查过程中存在的问题

      (1)目前的检查流程:

      现行有效的检查流程大致包括以下几个步骤:在执行检查任务之前,后台资质系统管理员会给检查员派发一个检查任务;检查员需要提前在网上确认检查任务;在检查当天,检查员和被检查者提前半个小时到达飞行训练中心,一起完成飞行前讲评;实施完模拟机考试之后,检查员和被检查者还需完成飞行后讲评。

     

      图2-3 目前的检查流程图

    (2)当前检查流程中的问题总结:

      ① 飞行前讲评阶段,检查员未能有效地、针对性地做好考试准备,比如:哪些事项PM不能做?哪些事项可以简单做?被检查人员是否存在问题?

      ② 飞行实施阶段,检查记录不完整、记录内容和判定决定学员能力的不一致;

      ③ 检查科目没有系统准备,导致个体检查之间,科目差异很大;

      ④ 检查科目随意性大,存在复杂组合的、很难完成的科目;

      ⑤ 检查标准不统一,包括某些单项不通过的标准不一致、学员整体能力弱,但是未触犯“红线”如何处置;有的检查员过于严格、有的检查员过于宽松。

      ⑥ 考试结束后,对于不容易判断的项目,检查员如何评价;讲评不够全面,未能给学员指导能力提升方案。

      ⑦ 针对上述资质系统数据体现出来的问题,项目组通过调查问卷的方式,搜集了更多的信息。

    3.调查问卷反馈的检查问题

    (1)调查问卷方案的设计与分析:

      通过调查问卷的形式,收集检查过程中的反馈信息,并且针对不同人群设计了两种调查问卷。总共收集了273份调查问卷、438条反馈信息,筛选出其中有价值的反馈信息275条。

      问卷一,面向全体飞行员:

      问1:您曾经经历过哪些您认为不合理的检查科目?

      问2:您曾经经历过哪些您认为检查过程中的不合理设置与行为?

      问卷二,面向全体检查员:

      问1:您在检查中遇到过哪些科目,很难界定通过与否?

      问2:您在检查中遇到过哪些科目,您认为不通过但是在手册中很难找到判断依据的?

      问3:您认为哪些科目,不适合在考试中进行?

      问4:您在检查过程中,遇到的困惑,需要明确的内容?

    chart 

    图2-4 调查问卷总结 

      (2)调查问卷发现的检查问题:

      为更好地分析调查问卷,本人邀请多名行业专家认真研究每一条反馈信息,通过初审、复审、会议研讨三个步骤,将所有的反馈信息按9个问题属性(不好判断的标准、不合适的科目-叠加、不合适的科目-单个、错误的评判标准、检查实施技巧与注意事项、检查员扮演的角色、建议、疑问)、14个飞行阶段、19个科目类别进行归纳总结。

    三、检查流程优化方案建议

      通过上述资质管理系统的数据分析、检查流程的梳理、以及问卷调查的研究与审核,经过充分的讨论,综合各方意见,总结出53个典型案例作为检查实施的评价标准、45项不得实施的检查科目和16条检查实施技巧。

      为了更加便捷与科学地搜集飞行训练的基础数据,本人设计《电子化训练检查评分体系优化方案》,在训练与考试中从飞行员九大能力的维度记录飞行员的表现,通过基础数据的积累和迭代,尽可能准确地去描绘飞行员的能力画像,为后续开展“循证训练”打好基础。同时,依据检查员的工作职责,定义检查员胜任力模型,为今后检查员养成和管理建立目标与方向。

     

      图3-1 调查问卷总结

    (一)检查员胜任素质模型

    1.检查员胜任素质模型的建立

      针对上述发现的问题,依据航司和局方对于检查员岗位的要求,结合检查员的主要工作事项,参考人力资源管理中“员工胜任素质模型”,从职业素养、知识、技能与能力三个层面出发,构建航司检查员胜任素质模型。目的是明确检查员的工作职责与工作目标,构建检查员持续的发展方向,比如明确关注细节能力与信息收集与处理能力,要求检查员能够对于学员的表现做好记录,帮助公司建立每位飞行员的能力雷达图。

     

      图3-2 检查员胜任素质模型

    2.部分胜任力要素的解释

      团队领导能力:比如,如何控制模拟机节奏,当学员由于情绪的问题,导致在驾驶舱出现相互之间的矛盾时,如何管理好模拟机训练环境。

      信息收集与处理能力:比如,如何评价学员的表现,并且给予正确的评价,同时做好记录;

      问题发现与解决能力:检查不单单是为了评价一个人能力的大小,更是通过检查来帮助被检查者提高;比如,检查中发现学员没有按照SOP的要求(例如:PF向PM复诵ATC指令),检查员在多次的观察中如果认为学员没有这个意识,那么可能要通过一定的教育提醒,来达到学员能力提高的目的。

    (二)设计新的训练检查评分体系

      在新的训练检查评分体系中,引入“打分标准(5分制)”、“基于九大能力评分”等多个新的训练方案。通过打分的方式让训练能够被量化、能够被测量,便于为后期的循证管理提供数据支持。通过新的训练检查评分体系,科学管理训练记录,把复杂的事情简单化,把简单的事情可操作化,把可操作的事情度量化、数字化,把度量化、数字化的事情考评化。

    1.评分标准方案

      目前普遍使用的表单中针对每项具体科目的评判仅三个档次“满意”、“满意需讲评”和“不满意”。这样可以筛选出10%(举例)的不合格的学员,但是无法甄别其余90%的合格人员到底水平如何。因此本人建议将训练评分体系细化分为以下五个档次:

    5分

    优秀

    非常好的表现,充分展示了该项能力。

    4分

    很好

    表现很好,机队平均训练水平,只需要对一些细节进行讲评。

    3分

    较好

    能够在该项中展示需要的能力、技术和知识,但还有提升的空间。

    2分

    可接受

    对安全或者运行风险因素的控制和识别不足,处于临界可接受水平。

    1分

    不合格

    出现不可接受的飞行表现,其中包括影响安全的风险和不满足安全运行的能力表现,需要对不足部分重点监控和解决。

      表3-1  训练评分体系细化表

      当出现任意一项“1分”时,该场训练即判定不通过。

      当出现多项“2分”时,该场训练也可判定不通过。根据考试类别,对选项2分的次数设置不同的标准。

      通过3-5分的设置,可以充分筛选出训练合格者在某些具体科目中的不足之处,并对不足之处形成的原因进行九大能力细化分析,为后续的带飞训练提供依据。

    2.表单设置以及九大能力评分方案

      目前现行的表单设置如下图所示,大致分为3个模块:科目设置、评分模块、评价内容。

     

      图3-3 目前现行的表单设置

      新表单做以下优化:

      (1)科目设置,由之前完全检查员自选,调整为“固定科目+非固定科目”的模式;

      (2)评分模块调整为“5分制”;

      (3)评价内容模块在IT系统上进行改进,引入“九大能力细化评分+文字评语”的模式。IT系统改进计划实现后的形式大致如下图所示:

     

      图3-4 新表单设置第一层

     

      图3-5 新表单设置第二层

      要求检查员填写表单时必须公正客观的进行评价并记录:

      (1)当科目评分出现1-3分项,必须进行九大能力评分,具体剖析一下被检人员在该科目表现不佳的具体原因,是由哪几项能力欠缺导致(可多选或单选)。

      (2)科目评分为X时,九大能力任一项评分不得低于X分。

      (3)当科目评分出现1-2分项,除须进行九大能力评分外,还必须进行文字评语的记录。

      (4)完成所有科目的详细评分后,给出检查结论,在提交表单时,检查员须对被检学员的九大能力进行整体打分(满分5分)。系统将自动提取科目评分过程中九大能力各项最低分,如果某项能力在科目评分过程中未被打分,则需此时给出该项能力的分数,如下图所示:

     

      图3-6 新表单设置总结

      通过多期的训练与检查,累积详细的训练和检查数据记录,并对各项评分进行迭代的加权统计,由模糊到清晰,逐步呈现出受训飞行员的九大能力画像,如下图所示:

     

      图3-7 九大能力画像

    (三)优化检查方案

      针对目前航司检查现状分析,本人提出如下政策建议,主要包括:统一口试题库、设计新的检查流程、基于“判例法”统一检查标准、不得实施的检查项目以及归纳检查实施中的技巧与注意事项等五个方面。

    1. 统一口试题库

      为切实提升飞行训练质量,促进航司飞行标准体系的高质量发展,通过集中公司各个部门的优势资源,搭建交流平台,共同开发理论题库,航司应依据前期口试题库建设经验,打破部门间的壁垒,整合飞行总队、培训中心、飞管部的优势资源,对题库任务进行分工,并对题库设立标准及方式方法进行明确。包括:明确理论题库的范围和内容,规范题目设计的标准,建立客观题和口试题库;统一格式,建立理论题库的格式和模板,区分难易度,对于不同类别、不同人员实施差异化考试;并计划在后期对理论题库模块进行验证,以便最终使用。

    2. 设计新的检查流程

      针对现行检查流程中发现的问题,从科目表单的设计、飞行前和飞行后检查员的讲评内容、模拟机考试实施的方法和检查标准的统一、以及表单的填写规范等多个方面,重新设计检查流程,如下:

     

      图3-8 新的检查流程图

      如上图所示,系统管理员提前一周派发表单给相应的检查员。检查员在完成模拟机飞行准备的时候,点击确认,系统会在目前的飞行资质管理系统中生成一套表单。

      检查员可以按照自己设想调整表单的顺序。

      检查员需要严格按照表单的内容执行检查,并做好训练记录。

      检查员在飞行前讲评和飞行后讲评阶段,需要依据编写的“检查员工作单”完成相关内容,避免缺项少做。

    3.基于“判例法”,统一检查标准

      一方面,局方发布的《航线运输驾驶员执照及型别等级实践考试标准》是针对所有机型,未细化特定机型、特定运行环境中程序和操作方面的特殊要求;另外一方面,在过去的考试评价体系中,对于学员的科目飞行情况的评价只有“过”与“不过”,其能力的分辨率较低。项目组在新的评分方案中引入“2分”的概念,旨在更加全面地评价一个人的能力。因此,在设计检查标准文件时,本人建议引入“判例法”方案,通过示例的形式,告诉检查员如何评价学员的能力以及科目的评分,供特定机型检查员用于考试评分指导。

     

      图3-9 检查标准的类别

      (1)单项不通过项目

      Ø 原则:1分 不合格(单项不合格)出现不可接受的飞行表现,其中包括影响安全的风险和不满足安全运行的能力表现,需要对不足部分重点监控和解决;触发任意一项、或者类似项目,即为不合格。

      Ø 检查员记录方法:如果检查员通过综合评估,认为学员某一科目存在缺失,认为该次考试不通过,需要在该科目记录不满意,并完成九大能力评分和文字评语的填写。

      Ø 项目分类:

      操纵技能类,例如:起降过程中任一机轮超出跑道边线;用错跑道。

      非操纵技能类,例如:V1后出现发动机火警,未相互证实,导致误关发动机。

      理论知识类,例如:口试环节,关键理论不清楚。

      (2)多项不通过项目

      Ø 原则:2分 可接受 对安全或者运行风险因素的控制和识别不足,处于临界可接受水平。触发任意“X”项2分,即为不合格。

      Ø 检查员记录方法:如果检查员通过综合评估,认为学员某一科目存在缺失,需要选择分数,3分(含)以下项目,自动打开能力选项,检查员直接勾选能力分值。

      Ø 项目列表:

      下面仅以“程序”、“沟通与交流”能力来举例,说明在实施检查中的评分标准。

      举例:

      【示例】执行“错误的检查单”或执行“错误的程序或动作”的评判标准:

      【判定标准】

      出现了不可逆的、或者要求“证实”的设备或电门调置错误,应判定为不通过,如:关错发动机、驱动装置等;

      检查过程中要求证实的项目,多次未按要求完成证实,例如发动机推力手柄的回收、启动手柄的关断、火警电门的拉出等,应判定为2分;如仅偶尔出现,应判定为3分。

    4.不得实施的检查项目

      由于某些科目可能占用大量的时间,或者可以通过口试的方式完成,也可能属于小概率且不好评价其是否正确完成的科目,还有些组合科目可能很难用于评价考试通过与否。因此,本人在分析研究中,建议设立“不得实施的检查项目”库,旨在让航司的训练资源更加集中于航班实际飞行中的薄弱项目。

     

      图3-10 不得实施的检查科目

    5. 检查实施中的技巧与注意事项

      根据调查问卷搜集的反馈意见,发现部分检查员在检查实施过程中,存在部分不符合检查员行为规范的情况。部分举例如下:

      (1)教检不分。检查员在检查中,偶尔会进行教学,缺乏检查的严肃性。

      (2)检查员的角色扮演存在缺失,未能够模拟真实的运行环境。

      (3)检查员过多地使用模拟机的特殊功能,比如加速功能,导致学员丢失飞行情景意识。

      针对上述类似问题,建议航司编写《检查实施中的技巧与注意事项》,以指导检查员实施检查任务、扮演好相应的角色。

     

      图3-11 检查实施中的技巧与注意事项

    四、结论与展望

      经过前期一段时间的规划与准备,本人与行业专家一起经过近2个月的反复讨论与设计,基本完成了系统方案的搭建、IT系统的改造设计方案、标准文件的编写等,并尝试在航司内部小范围的检查中进行尝试。经过半个月的实践,初步完成了50多名现役机长的初次能力画像。根据新的检查方案得到的数据,本人尝试通过系统生成各个类别的数据分析图,比如训练科目的平均分分布图、所有人员九大能力平均值雷达图、某位飞行员九大能力雷达图等。

     

      图4-1 多名现役机长九大能力平均值

    未来,针对所得到的飞行员能力数据,建议引入“数据测量”的方案,对不同人群、不同科目、不同能力进行统计、筛选、分析,对机队实际运行中的薄弱环节进行大数据分析,为下一步的“循证训练”提供较为精确的数据支持。同时建议航司结合其他类别的训练与检查,不断迭代计算每位飞行员的能力数据,从而实现航司训练与检查数据的全生命周期管理。(作者:刘化宝)

     

     

      

     

    参考文献

      [1] 奥古斯堡学院.《IT项目管理》[M],北京:机械工业出版社,2006.

      [2] 加里·德斯勒.《人力资源管理》[M].北京:中国人民大学出版社,2012.

      [3] 格雷格·阿尔斯通.《怎样才算安全:领导能力、安全和风险管理》[M].北京:中国民航出版社,2007.

      [4] 中国民用航空局航空安全办公室编.《民航机长读本》[M].北京:中国民航出版社,2013.

      [5] 张雪松等著.《中国民航飞行员胜任力训练基本问题研究》[M].西南:西南交通大学出版社,2020.

      [6] 李健.加强三基建设 推进依法治理 为新时代民航强国建设提供高质量的安全保障[J].北 京:中国民用航空局,2018.

      [7] 雅克·菲茨恩兹等.人力资源与大数据分析[M].北京:人民邮电出版社,2018.

      [8] 吉恩·皮斯.HR 的大数据思维[M].北京:人民邮电出版社,2018.

      [9] 托马斯·达文波特.数据化转型[M].杭州:浙江人民出版社,2018.