| 首页 | English Version |

首页>>评估研究

因子分析方法在评估指标结构研究中的应用


                     ——以高职高专院校评估指标为例的实证分析
刘康宁[1]
(华中科技大学  教育科学研究院, 湖北 武汉 430074)
 
摘要:本研究以2004年教育部制订的《高职高专院校人才培养工作水平评估方案(试行)》评估指标为案例,运用因子分析方法对指标体系中的36个观测点进行公因子分析,探讨了高职高专评估中最基本的信息要素,即14个直接反映人才培养工作水平的潜在变量。
关键词:高职高专院校  评估指标  因子分析
 
1 绪论
关于指标内部结构的研究。虽然大量研究已注意到指标体系的整体性和相关性,但多是在评价指标内涵、评价标准、权重、评价等级这一集合体内讨论的,对于指标之间结构的研究却甚少,理论研究与实证性研究都尚缺,高职高专院校人才培养工作水平评估指标研究尤其如此。
本研究运用因子分析来探讨高职高专院校评估指标的结构,是微观层次的评估研究。评估指标的树形结构中,一级指标和观测点之间是通过二级指标来联结的,评估结论的获取也是依据二级指标的评价,二级指标构成了高职高专人才培养工作的潜在变量。对一级指标观测点进行因子分析的目的可以使二级指标的结构更具体,结构的信息也更明确。
分析样本取自云南省六所高职高专院校,其中有4所师范高等专科学校,2所高等职业技术学院。根据42位实地评估专家对六所院校的评分,将指标体系中6项一级指标的观测点分别做了因子分析,以此来建立一级指标下的主要评估维度。因子分析是多元统计分析技术的一个分支,其主要目的是浓缩数据,它通过研究众多变量间的内部依赖关系,探求观测数据中的基本结构,并用少数几个假想变量来表示基本的数据结构。[①]因子分析可以寻求变量间的基本结构,还可以简化数据,在信息损失量小的情况下,通过较少的综合指标(公因子)来解释变量信息。
对观测点元素的分析,使我们理清了教育评价指标体系的横向关系,即指标体系的同一级指标群集中,各类指标之间的关系。“加深了对教育评价指标体系内部结构的认识,有利于从微观上、从个别特质上去掌握教育评价指标体系的构建方法和技术。”[②]分析结果可为今后调整指标结构、精简指标、确立核心指标等方面提供依据。
2 指标观测点的因子分析
在评估指标体系的设计中,由于对指标关系的不确定,导致了部分指标之间存在不同程度相关。当指标之间高度相关时,会出现多重共线性现象。简单说,共线性就是自变量对因变量的影响降低,标准误差扩大,由于评估变量之间的线性相关,导致他们所反映的信息高度重合,降低了评估指标的效度和信度。
指标观测点的因子分析,是根据指标之间的相关程度,将同质性较强的观测点提取出来,构成新的公因子,从而增强指标之间的独立性。
2.1 “办学指导思想”指标观测点分析
1.      总方差分解
 

 

主成分

初始特征值

总数

方差百分比

累计百分比

1

2.038

50.958

50.958

2

1.129

28.219

79.177

3

.644

16.106

95.283

4

.189

4.717

100.000

上表结果表明:如果按特征值≥1的主成份作为初始因子的原则,则有2个因子应该保留。第一个因子特征值是2.038,第二个因子特征值是1.129,两个因子特征值之和占总方差的79.177%,即用2个因子代替4个变量,可以概括原观测点所包含信息的79.177%。
2.      旋转后的因子提取结果                            

 

主成分

 

1

2

1.2产学研结合

.947

-.119

1.1.1学校定位与发展规划

.837

.391

1.1.3教学中心地位

-.074

.918

1.1.2教育思想观念

.428

.609

 
 
 
 
因子含义的解释主要借助于因子负载矩阵(表2所示),首先找出在每个因子上有显著负载的变量,根据这些变量的意义给因子一个合适的名称,具有较高负载的变量对因子名称的影响更大。
表2是按系数由大到小排列的。可以看出经过旋转后因子负载系数已经明显地向两极分化了。第一公因子F1支配了观测点“产学研结合”、“学校定位与发展规划”(绝对值较大的系数),第二公因子F2支配了观测点“教学中心地位”、“教育思想观念”。根据观测点的原始含义可以对两个因子命名:第一个因子主要概括了办学思想中行动层面的内容,可以命名为“规划措施”因子;第二个因子主要概括了意识层面的内容,可以命名为“教育思想”。
2.2 “师资队伍建设”指标观测点分析
 
 因子旋转矩阵表明:可以提取两个公因子,F1支配了“建设与发展”、“学生与教师比例”、“质量”“专任教师结构”4个观测变量,进一步分析其内涵,可以发现这四个变量主要考察的是学校的专任教师队伍;F2支配了“兼职教师数量与结构”。因此两个因子可以分别定义为“专任教师”与“兼职教师”。把“兼职教师”作为高职高专院校师资队伍指标中的一个评估主成份,应该说是与“产学研结合”指标有密切关系。在高职高专院校办学过程中,产学研结合已成为一个大的办学内涵,而兼职教师在其中有着重要的保障作用。可以说,加强兼职教师队伍建设意义要远远大于本科院校,这也是高职高专院校办学的一个特点。
如果不用特征值方法来确定因子个数,而是事先指定3个因子以检验师资队伍建设中结构与质量的关系,那么可以看到3个因子分别概括了:F1是“建设与发展”、“生师比”、“质量”;F2是“兼职教师数量与结构”;F3是“专任教师结构”。即便提取3个主成份,“兼职教师”仍然是一个独立的主成份。              
2.3 “教学条件与利用”指标观测点分析
2.      因子特征值碎石图
碎石图也可以用来确定因子提取个数,它是一条下滑曲线,从第一个因子开始曲线迅速下降,然后下降变得平缓,最后变成近似一条直线,曲线变平开始的前一个点认为是提取的最大因子数。从上图可以看出第三个因子后曲线平缓,因此确立3个提取因子,3个因子的方差贡献率达到84.585%。
第一个因子F1概括了“3.1.2教学仪器设备”、“3.2.1校内实训条件”、“3.3.2学费收入用于教学经费的比例”、“3.3.1经费保证情况”、“3.2.3职业技能鉴定”5个观测点,是教学条件中的“保障”因子。第二个因子F2概括了“3.1.4体育运动设施”、“3.1.1教学行政用房”、“3.1.3图书馆及校园网”,可以定义为“场地”。F1和F2都是校内教学条件,而第三个因子F3支配了“3.2.2校外实训基地”,可定义为“校外实践条件”。
对于F3“校外条件”因子的处理可以根据实际情况采取两种策略:一是将它作为教学条件指标中的一个独立主成份,提高权重系数,强调其重要性,促进各学校加强校外实训基地建设,使“产学研”结合的内涵及外延更加丰富、具体。二是将它作为评估指标“教学条件”的附加指标,在实地评估中成为一个参考值。从条件建设主体看,校外教学实训条件的建设取决于协作单位,与被评院校的关系并不大,是学校“力所不能及”的指标。笔者在实地考察中深切感受到,不同学校由于所处社会经济条件的不同,校外教学实训条件也千差万别,有的学校能建立起这种协作关系就已经很不容易了。此外,这一观测点的评价标准(C级:多数专业都建立了稳定的校外实训基地;A级:多数专业都建有运行良好并有保障机制的校外实训基地,实习、实训效果好。)更多地偏向于运行机制和效果,也不适于在条件指标中评价,应该归类到教学建设与改革指标。
2.4 “教学建设与改革”指标观测点分析
该项指标是与学校人才培养工作联系最密切的,包括了9个观测点。
 
根据总方差分析表结果,有3个因子应该保留。第一个因子特征值是4.721,第二个因子特征值是1.731,第三个因子特征值是1.007,三个因子特征值之和占总方差的82.889%,用3个因子代替9个变量,可以概括原观测点所包含信息的82.889%。由此可证明提取3个因子来解释原变量,进行指标精简是可行的。对因子含义做进一步分析发现,因子F1概括了“4.1.1专业设置”、“4.3.1实践训练体系”、“4.2.2教材建设”、“4.2.1教学内容与课程体系改革”、“4.1.2教学计划”;因子F2概括了“4.1.2教学方法与手段改革”、“4.1.3专业教学改革试点情况”;因子F3概括了“4.4素质教育”、“4.3.2职业能力考核”。根据三个因子的内涵可以定义为“专业”“改革”“能力培养”。
2.5 “教学管理”指标观测点分析
    
因子旋转矩阵结果表明:第一个因子解释了“5.2.2主要教学环节的质量标准”、“5.2.3教学质量监控及学生质量调查”、“5.1管理队伍”,三个观测点都是体现教学管理运行的,可定义为“运行”因子;第二个因子解释了“5.2.1规章制度”,是“制度”因子。这两个因子解释了原有信息的80.709%。
在教学管理中,制度建设是运行质量的基本保证,也是“以评促建”最易出成效的指标。通过评估,我们看到几乎所有的学校在建章立制、规范档案方面都有了明显进步,特别是一些新成立或转制的院校。尽管规章制度的建设,根本还是转化到管理运行过程中,但形式的存在对于引导学校规范办学的作用还是显著的,这也是之所以成为一个独立因子的原因。
 
 
 
碎石图中第二个因子后曲线逐渐平缓,因此确立2个提取因子,2个因子的方差贡献率达到81.719%。第一个因子F1概括了人才培养工作的内化程度;第二个因子F2是教学效果的外显程度,表现为数据指标。
关于教学效果的内化程度评价,高职高专评估开创了有特色的方法,即职业技能测试、基本技能测试和学生专题研讨会。应该说,这三种方法对于评价学生能力形成是有效的,但教学效果外显程度的评价指标(就业率与报到率)则略显得单薄,而且也不尽科学。两个数据指标都可能受到当地社会环境的制约,既有社会经济对高职教育的支撑能力影响,也有当地对人才吸纳能力的影响。因此,有必要逐渐完善社会评价信息数据库,增加公信力强的数据指标,提高该指标的评价效度。
3 关于指标结构精简的讨论
不知从什么时候开始,大家已习惯用三级结构来建立院校评估指标体系,本科教学评估如此,高职高专人才培养工作评估也如此,这样的思维定式使现在的指标体系变得越来越细。事物总有两面性,过细的指标虽然可以明确办学标准,规范院校的教育教学工作,但却不利于学校发挥办学自主权,也不利于学校形成自己的办学特色。复杂的指标结构影响了学校认识内涵的本质,同时还增加了评估中专家进行价值判断的难度。
简化评估指标体系,不是随意、盲目简化,应遵循简化的必要性和可行性原则。首先,要仔细地分析指标的内涵以保证指标的独立性与整体完备性。其二,要在满足指标项目独立性和整体完备性的前提下,以求得指标项目数量的最少化,使指标体系简单易行,从而实现指标体系质量的最优。……保证指标项目与评价目标具有较好的一致性,控制指标项目与评价目标之间实现最佳融合。[③]通过分析可以精简与评估目标不一致的指标变量、反映目标信息较少的指标变量、存在较高相关性的指标、难以操作的指标变量。[④]
国家对高等学校进行评估,是政府向社会负责的表现,但该用什么方式去评估,又评估什么内容却一直争论不断。有学者就对我国目前“优秀、良好、合格、不合格”的等级评估标准产生质疑,认为国家评估的责任就在于对高等学校的教育教学质量进行基本控制,至于优秀与否该由社会去检验。[⑤]如果这样的观点是合理的话,那么过多的等级、过细的指标显然违背了政府保障基本质量的初衷,只会更多地束缚学校的办学自主权。中国高等教育近代史中,那些蜚声世界的大学也并非在评估中诞生的。反之,今天的大学虽在努力凝练“特色”,却效果不佳,评估指标中设计一个附加指标“办学特色”,并不能从根本上解决问题。
不可否认,指标具有导向作用,同时又体现为国家的办学标准和质量要求。指标制订的初期,结构划分细点,内容详细点是应该的,毕竟国家标准不能建立在空洞的认识上,而且过于粗放的指标还会在信息传递到学校的过程中衰减和曲解。1994年新建院校合格评估方案的出台,至今十余年时间本科院校教学评估指标已修订多次,经历了由繁到简、由分到合的复杂过程。就高职高专评估而言,现行指标体系对于规范院校办学是必要的,随着发展,精简指标结构也是必然趋势。
在因子分析的基础上,对高职高专评估指标体系提出了精简构想:指标结构保留二级,一是评估要点,包括教育思想、规划措施、产学研结合机制、专任教师、兼任教师、教学保障条件(经费及教学设施)、场地、专业、改革、能力培养、教学运行、管理制度、素质、特色,附加2个参考指标——校外实训条件、就业率等社会公信数据。二是项目评估内容及标准。指标精简非但不会削弱评估信息的可靠性,反而能让学校从资料建设转移到教学内涵建设,减少评估时间、人力、物力成本。
 
注释:


[1] 作者简介:刘康宁(1972—),男,华中科技大学高等教育学专业硕士研究生,云南大学高教院讲师,云南省高等教育评估中心办公室主任,主要从事高等教育研究及教育评价工作。
 


[①] 郭志刚主编.社会统计分析方法.中国人民大学出版社.1999. p87.
[②] 李方. 论教育评价指标体系的构建[J]. 教育研究1996年9月.
[③] 刘军山、孟万金.关于高等教育评价指标体系质量的探讨[J]. 人大报刊复印资料(高等教育).1999年第6期.
[④] 韦洪涛. 构建高等教育质量评估指标体系的几点思考[J]. 苏州科技学院学报(社会科学版). 2005年5月.
[⑤] 毕家驹.全国第五届教育评估机构协作会上发言[Z].武汉.2005:11.
 
 


指导单位:教育部全国高职高专人才培养工作委员会 全国高职高专校长联席会议

承办单位:上海第二工业大学 广州民航职业技术学院 同济大学高等技术学院 郑州铁路职业技术学院

联系电话:021-50216692(总机) 021-50216813(网站) E-mail:master@sspu.cn