以世界银行职教改革项目为例谈骨干校建设效果评估

世界银行在广东省选取了3所试点中职学校，投入2000万美元用于三个学校的职业技术教育与培训改革项目（简称TVET），并且确定麦可思为项目评估的第三方。在对技术方案进行设计时，采用的是国际上常用的项目评估方法——基线研究和效果评估。其中，基线研究展现的是项目实施前的情况，效果评估展现的是项目实施过程中的某个时点或是项目完成后的情况。举一个生活中的例子，大家常常见到化妆品广告中“使用前”和“使用后”的图片——“使用前”就是基线研究，“使用后”即是效果评估。分析它们之间的差别，就可以对该化妆品的使用效果做出评估。这份技术方案获得了世界银行项目负责人的认同。我认为它可供骨干高职院校的建设效果评估参考。

在开始评估之前，我们需要确定基线对照组和项目影响组。例如，广东三所参与项目试点的二年制技校的2010届毕业生是没有受到TVET建设影响的最后一批毕业生，他们的培养结果作为参照系，即基线组。广东三所技校的2012届毕业生是受到TVET建设影响的第一批毕业生，他们的培养结果作为建设成效，即影响组。TVET建设成效就是把影响组与基线组的培养结果指标对比，即可看出建设前和建设后的差异。我们建议，第一批骨干校应把2010届毕业生作为基线组，立刻展开对其毕业半年后的指标跟踪调查和分析；把2013届毕业生作为影响组，对比两组指标差异评估建设效果。

随后，需要确定TVET项目调查的指标。评估指标分为两类：培养过程指标和培养结果指标。通常高校在评估时都非常重视过程指标，但是结果指标更加需要得到重视，因为它们更能有效地反映问题。TVET评估选择的结果指标是：毕业时通过技能认证考试（包括中级和高级）的毕业生的比例、毕业半年后（1年内）找到工作的毕业生比例、毕业半年后（1年内）的平均月薪、毕业半年后（1年内）的离职率、毕业半年后（1年内）所从事的工作与所学专业的对口比例、以及学生对学校的满意度等。通过比较基线组与影响组在这些关键绩效指标方面的差异，来判定TVET项目的有效性。我们建议，对于骨干校建设效果评估，关键结果指标应该包括就业率、薪资、专业对口率（工科专业）、能力水平、学生满意度等满足社会需求和培养质量的指标体系。

TVET项目也需要分析过程指标对结果指标的影响。TVET的关键过程指标包括：1、学校和各专业到企业接受培训的教师的比例，2、参与学校教学的相关企业的行业专家的比例，3、使用新的能力本位培训课程的教师比例，4、参与模块教学、能力本位培训课程的学生比例，5、使用与新能力本位培训课程配套的优化教学技术的学生比例，6、使用基于结果的评估体系评估的学生比例。在项目分析中，过程指标对结果指标的影响要加以分析，其目的是发现：该指标是否能够有效改进培养结果；如果能，哪些学校或专业的过程指标对结果影响较大，哪些影响较小。过程指标影响结果较小，就说明这些学校或专业的过程是低效或无效的。因为仅从一个过程指标的数值是看不出来该校或该专业是否通过该项措施产生了预期效果。例如，很多学校都会有人均图书量这个过程指标。是不是人均图书量越高就代表学生获益越多呢？其实不然。在调查学生在校期间的图书资源利用情况等这些结果指标时，一些人均图书量高的院校反倒不如人均图书量低的院校。究其原因，可能是由于人均图书量高的院校图书馆每天开放时间只有八小时，而人均图书量低的院校图书馆每天开放十多个小时。

此外，调查时间点的选取也很重要。我们建议高校按照国际通用的调研方法，在毕业生毕业半年后的时间点进行调研。根据麦可思连续4年对中国大学毕业生的跟踪调查显示，有大约40%的高职毕业生是在其毕业后半年内才找到工作的。可见，如果在学生毕业时进行调查，得出的结果是不稳定的；而如果对毕业生的调查时间超过其毕业后1年，学生的很多指标将受到其在职培训等其它因素的影响，此时做出的项目影响评估就无法客观反映出学校真实的人才培养质量。在第一批骨干校建设评估中，我们建议的毕业生调查的时间如下：

另外，具体调查方法和手段、如何控制宏观经济和社会形势对于调查对象的影响，如何控制调查对象个体差异给影响评估带来的影响等问题也是TVET项目评估中加以控制的因素。

索取该评估方法资料请联系：research@mycos.com.cn

文/麦可思高校咨询顾问  马  妍