(文 刘俊芳)
第八章“指标和效度”。
一、追求理解的评估为什么需要指标?如何提出合适的指标,怎么样让学习者弄清楚这些指标?老师们可能存在什么错误,你在教学当中会有这样的错误吗?
1.清晰和恰当的指标能明确提出,我们在确定理解程度时应该关注什么,并在判断过程中提供一致性和公平性。
2.合适的指标强调工作(针对具体目标)中最具启发性和最重要的方面,而不只是那些容易看到或容易评分的方面。在确定合适的指标时,我们必须明确在表现中影响质量判断的一组独立变量。这些指标将详细说明要获得成功,必须要有哪些表现。从操作的角度讲,他们定义了完成任务的必要条件。
3.许多老师会犯一种错误,只依赖于容易观察到的指标而不是基于核心表现和目标的指标。比如,研究论文获得高分,只是因为有许多脚注(而不是很好的支持了研究);判断学生达到了理解,只是因为他的演讲很诙谐,(而不是很深刻);判定展品很有效,只是因为它们色彩丰富,富有创造性(而不是提供了准确信息)。
在工作中,我也犯过类似的错误。比如,演讲比赛时学生获得高分只是因为口语好,语气、肢体语言等更有感染力,而不是内容很好的支持了观点。学生的手抄报获得表扬与展示,只是因为绘画漂亮、色彩搭配美观等,而不是内容很好地符合主题。
二、量规与指标的关系是什么?什么情况下不需要量规?建立量规的标准是什么?能用您自己理解的话来解释这三点量规标准吗?
1.量规是基于指标的评分指南,有固定的测量等级组成,并对每个级别的特征进行详细描述,量规描述了质量等级、熟练程度或者连续的理解。
2.如果所需的评估反馈只需要是/否或正确/错误,就可以进行判定,那么无需使用量规,一个检查表就足够了。
3.建立量规的标准:(1)应以什么指标来判断和区别学生的表现?(2)我们应该通过哪些方面,哪些内容来判定学生的表现是否成功?(3)应该如何描述并区分质量水平,熟练程度以及理解层次之间的不同?
三、基于理解六侧面的量规是如何形成评价连续统的?
基于理解的六侧面的量规反映出理解是一个恰当的连续统——理解各个侧面都呈现了从简单(基础)到复杂(高级)的阶段超话。该量规已经明确表明,理解可以被认为是一个连续统——从错误认知到有洞察力,或者从薄弱的自我意识到成熟的自主能力。
四、效度的挑战是指什么?你能举一个教学中的例子说明吗?
效度是指我们所采用的证据能够准确测出所需要意义的程度,包括传统的与测试有关的证据。站在评估员角度进行思考的第三个问题,要求我们谨慎获取最适当的证据及达到阶段1预期结果的证据。我们不仅要试图创造阶段2中有趣、真实的任务,而且还要获得阶段1中预期结果的最合适的证据,这就是效度的挑战。