侧面和指标
理解可以被认为是一个连续统——从错误认知到有洞察力,或者从薄弱的自我意识到成熟的自主能力。此外,它反映了一个事实,即不同的人在面对相同的观点和体验时,可能会有不同,但同样有效的理解。换句话说,一个人的外形可能看起来与另一个人大不相同,但我们可以对这两个人进行总体描述。
如果想使用这么多的量规特征,却无从下手,那么就从小的方面做起。先从两个基本的指标(理解和表现的质量)做起。如果时间允许且有兴趣,可以适当增加关于过程和其他方面的指标。当你能够区分多个评估指标时,可以根据相应的任务使用其中部分内容。
根据学生工作来设计和完善量规
建立和完善量规的过程,也依赖于对学生表现的分析。
阿特和麦克泰格为分析学生的表现而总结出的六个步骤步骤:
步骤一:收集能够说明预期理解和熟练程度的学生表现的例子。
步骤二:将学生的作品分类放置并注明分类的原因。
步骤三:将这些原因归结到统一的特征,或者表现的重要指标中。
步骤四:对每个评估指标进行定义。
步骤五:挑选学生表现来举例,说明每个评估指标的得分点。
步骤六:不断完善。
效度的挑战
站在评估员角度进行思考的第三个问题要求我们谨慎获取最适当的证据,即达到阶段1预期结果的证据。
我们不仅要试图创作阶段2中有趣、真实的任务,而且还要获得阶段1中预期结果的最合适的证据,这就是效度的挑战。
效度是指我们所采用的证据能够准确测出所需要意义的程度,包括传统的与测试有关的证据。
理解是一个有关程度的问题。我们把太多的注意力放在了正确性上,很少关注理解的程度,所以理解在传统的测试和分数上很难得到检测。
许多教学设计师们将有趣的学习活动和恰当的表现证据混为一谈,因为表现是复杂的,任务是有趣的,所以从学生作品中获得的证据与预期结果是不匹配的。
根据两个自查问题来反思自己的评估任务设计是否可行:
学生在表现性任务中可能做的很好,但是这真的不能表明他们达到了你所寻求的理解。学生在展示任务中可能做的不好,但用其他方式仍然可以发现他们形成了重要理解。
逆向设计中的效度自评
效度也影响着量规的设计。效度问题来自于量规,而不是任务。我们必须确保采用了正确判断理解的指标,而不仅仅是看什么指标容易判断得分就采用什么。在评估理解时,我们必须特别注意,不要将正确性、表现技能与理解程度相混淆。
通用指导原则
1.与从客观测试中获得的评估知识和技能的证据相比,关于理解的评估所需的证据要更间接,更复杂。
2.关于理解的评估需要收集在表现或产品中进行“应用”的证据,但这会使评判结果变得复杂。
3.既然理解包含六侧面,那么是不是有些方面优于另外一些方面呢?哪个表现更相关,又是在什么情况下相关呢?
4.尝试对相内容同时使用不同的测试形式。5.试着去预测关键误解,并且使用简单的前测和后测来确定这些误解是否被克服——除了你所使用的其他评估任务之外。
6.考虑到某个应用或产品可能与更大的目标相关或不相关,一般会要求学生“展示他们的作品”,针对他们的答案给出解释,并且展示答案中那些与主要原则或概念相关联的内容。
7.假定学生在解释时表达清晰,可能更多是得益于他的语言表达能力,而非来自真正的理解。
8.利用不同侧面来扩充证据;当要求学生动手操作时,同时要求其阐明和自评,以此来确保不会高估最终产品。