——以高职高专院校人才培养水平评估为例的实证分析

刘康宁[1]  李  翔

（华中科技大学  教育科学研究院， 湖北 武汉 430074）

 

    摘要：相关分析是评估指标结构研究的一个重要内容，相关蕴涵着丰富的结构信息。本文以2004年教育部制订的《高职高专院校人才培养工作水平评估方案（试行）》评估指标为依据，通过对专家的指标评估结果与师生满意度问题调查的相关分析，探讨问题调查在实地评估中的重要性。

    关键词：指标 问题  相关性

 

    1 绪论

    指标评估是对客观存在的事物进行事实和价值判断的，“指标是一种具体的、可测量的、行为化的评价标准，是根据可测或可观察的要求而确定的评价内容。”^[1]是较为常见的评估方法。而问题调查则是对主观存在的态度进行观察的，问题建立的关键是问题概述，“问题是针对指标的缺点而提出的评价准则，它针对教育工作者所关心的方面，用一系列较为抽象的问题作为评价准则。”[2]方法上，这种评估是根据特定的评估人群，设计出相应的调查提纲或问卷来收集资料，所获取的信息不仅是为了补充指标分层的局限，同时也可以通过被调查者，例如教师、学生、管理干部等主观认知结果，去进一步验证指标评估的信度。

指标与问题的关系，虽然理论上是密切相关的，但在现实中却被人为分割了。这种重指标、轻问题的取向偏好不仅体现在评估实践中，也体现在评估的理论研究，关于两者间内容、结构、功能的实证性研究还没有。以高职高专人才培养评估为例，如果我们能实证性地建立相关性认识，那么将对于我们在评估工作中有效设计、协调各种信息获取途径，使实地评估工作层次清晰、重点明确、减少信息流失量方面大有帮助。

    2 方法

方法的选择在实证研究中的作用不言而喻，作为一项探索性研究，方法的研究本身就是知识建构。

    2.1 对象及样本结构

    本研究选择了六所已接受高职高专院校人才培养工作水平评估的高职高专院校做为研究对象。其中有4所师范高等专科学校，2所高等职业技术学院。专家42名，教师771名，学生1950名。

    2.2 分析路径

    本研究运用等级相关法分析专家的指标评估结果与教师、学生满意度之间的关系，以便从不同角度验证指标设计的合理性，特别是两种评估方法——指标评估和问题调查如何在评估实践中有机结合。同时，也为了检验学校内部自评与外部专家评估的吻合程度，进一步完善校内评估方法。“通过内外结合的评估，有效地促进学校的持续发展。”^[3]

由于指标与问题没有一一对应的关系，因此把教师、学生问卷调查中的满意度量表与评估指标中的15项二级指标先抽取出相似因素（见表1），然后分析这些因素得分的等级顺序相关程度。

    3 结果与分析

    指标与问题的相关性分析应该建立在信度分析的基础上，如果可靠性、稳定性不好，那即使相关了，也不能给我们有价值的信息。

    3.1 信度评估

“信度分析又称可靠性分析，它是检验测量工具的可靠性和稳定性的主要方法，又可以衡量教学评价过程中，受干扰因素所造成的随机误差的大小。”^[4]如果我们把评估指标作为一个人才培养工作水平的测量工具，那么指标的稳定性测度是非常重要的，评价结果只有在指标稳定、可靠的前提下才有意义。比如用一把尺子测量长度，如果长度是不变的，那么测量结果也应该是稳定的，如果尺子受气温变化的影响而出现不同的结果，那么所测结果也是不准确的，问题调查也如此。

    克龙巴赫Cronbach α检验结果为：教师满意度量表的信度系数α=0.9269，学生满意度量表的信度系数α=0.8867，评估指标的信度系数α=0.8961。一般情况下，克龙巴赫α系数大于0.7，就认为测量工具是可靠、稳定的，可以做进一步分析。

    3.2 相关性分析

    1、指标与满意度调查的相关分析

最初，选择了15项二级指标与教师满意度和学生满意度分别做积差相关分析，但所得结果却不理想，指标与问题几乎没有达到显著相关的。深入分析发现，不论是专家还是教师、学生对各指标的评价都非常接近，项目分数方差较小。这种情况下，指标与问题必然表现为没有相关性。而实际上尽管各项目分数接近，但依然存在顺序的差别。为了更好地验证假设，笔者将三者之间有共通内涵的因素抽取出来，然后进行各因素排序，继而再根据排序数据计算Kendall等级相关系数。

 

表16.       指标与教师、学生满意度的Kendall相关系数

		教师满意度	学生满意度
指标 评估	Correlation Coefficient	.295(**)	.292(**)
	Sig. (2-tailed)	.007	.008
	N	48	48

**  Correlation is significant at the 0.01 level (2-tailed).

 

指标与教师的肯德尔等级相关系数tau_b=0.295，P=0.007，P﹤0.01，相关程度极显著；指标与学生的相关系数tau_b=0.292，P=0.008，P﹤0.01，相关也达到了极显著水平。可以认为，指标评估与问题（问卷）调查之间有很密切联系。在评估过程中，进行问卷调查不仅可以了解师生对学校教学工作的评价，而且可以作为专家实地考察评估的先行认知手段。

今天，研究者运用社会科学研究的一些方法和技术，例如概念化、操作化、问卷设计、实验、观察、访谈、二手资料分析法、内容分析法等，已在指标和问题的结构、功能、操作等方面建立了更为深刻的认识，研究开发了大量适合于评估的信息收集方法。评估信息的获取是多方面的，指标和问题的建立，共同构成了教育评估信息获取的两个重要内容，某种意义上，这两个要素也决定了评估结果的公信力。两者具有同等重要性，是相互补充、相互印证的关系。

2、各项工作的满意度相关分析

 

从教师和学生满意度相关分析结果可以看出：学校领导对教学工作的重视程度与教师、学生满意度有极显著的相关关系，说明领导的重视程度将直接影响教师、学生对学校教学工作的满意度。有研究表明：这两个变量之间之所以存在相关关系，是因为中介变量“学校组织气氛”在其中起重要作用。“学校组织气氛”是哈尔平（Halpin·A·W）提出的，由学校的一系列内部特征所表现，这些内部特征包括学校环境、文化、氛围、感觉、风尚等，它们影响着学校里人的行为。哈尔平和克罗夫特（Croft·D·B）编制了一套“组织气氛描述问卷”（The organizational climate descriptive questionnaire，简称OCDQ）来研究组织氛围的影响因素，发现校长的领导组织能力及情绪影响着教师，而这种氛围又感染着学生。一类学校中，教师和校长都充满热情，工作中表现出自信，并感染着学生。另一类学校中，教师们显然不满校长缺乏领导能力，蔓延在教师中的病态心理，也感染了学生，学生表现出挫折感，并反馈给教师绝望的情绪。[5]

由此可见，教师、学生对学校教学工作的满意度，其实是一种情绪体验，取决于其所处环境的心理感受和对工作意义的认识。如果用组织行为学的观点看，那么团体氛围与团体领导者的能力和情绪是有关系的，对于一所学校，则表现为校长或学校领导对教学工作的重视程度和能力。

---

---