在软件工程领域发展早的阶段,也曾出现过类似一切皆有可能的风潮,许多人尤为关注具体测量标准带来的前景,期望以此提高生产力和软件质量。
汤姆迪马克在1982年写了一本播具影响力的书,描述了这一风潮的特点,其中最有名的一句话是无法测量的东西就是不可控的东西。35年后,迪马克又发表了一篇文章,表示自己的观点已经随着时间的推移发生了转变。他说,这本书想表达的言外之意其实是衡量标准是好的,更多就更好,更越多就越好。
但最终事实证明,他们的使用反而应该谨慎和节制,因为对由数百万行代码和无数相互作用的部分组成的更复杂的软件而言,一刀切的简单衡量标准将变得毫无价值。
在同一篇文章中,迪马克写道,尽管衡量标准使我们能够对进程十佳控制,但严格的控制只适用于那些没有潜力产生重大影响的项目。
换句话说,只有在目标相对频繁的情况下,衡量标准才是有用的。如果我们将其应用到宏伟事业上,就会使其失去其价值。在软件开发领域,对衡量标准的盲目推崇,导致工程师们被迫不断的抬高衡量标准,哪怕他们知道这衡量标准以经日益与现实脱节。
这种盲目追求目标的主导性风潮,在持续多年之后才开始消退。目前,美国的教育系统可能正在上演同样的盲目推崇一刀切目标衡量标准的错误。但这一次受到自欺欺人,是成就衡量标准束缚的对象从软件工程变成了儿童和教师。
问题是目标的欺骗性不仅会损害教育这样的伟大事业,在其他类型的社会事业中,基于目标的思维也可能带来不易察觉的破坏。
例如,最近关于推出问题责任制的言论甚嚣尘上,即通过更加精准的评估标准来改变评估的效果以及达成的程程度,以奥巴马政府出台的力争上游教改计划为例,美国教育部就反复鼓吹和兜售其准确性。
高等教育也同样正朝着评估驱动式文化的方向发展。新型测试已经出台,如美国大学生学习评价和美国大学学术能力评估。这些测试的目的也是为了提供关于大学生进步和学习成就的准确描述。
然而,准确性也同样存在一个与目标神话有关的问题。在一个由目标驱动的追求中,准确性并不一定有助于提高学业表现或成绩。如果你是推动评估朝着更准确方向发展这一方案的参与者,那么前一句话听起来可能有点忠言逆耳了,但好的一面是如果准确性不能解决高大上目标导致的问题,那么我们至少可以把资源转到更有可能解决问题的地方。
前面讲的图片孵化器网站用户繁育出来的骷髅头图片,这是一个有趣的例子,因为它可以帮助我们理解为什么准确度不能成为解决问题的方法。
真正有趣的地方在于,那些踏脚石图片实际上帮助培育出这个骷髅头图片很重要的一点是,他们中大多数看起来不像骷髅头,其中一张图片是月牙形,另一张看起来像甜甜圈,还有一张类似于盘子。因此,为了防御出部落头,图片用户首先要发现这些看似不相关的图片。
想象一下,我们在全美范围内发起一个从头开始繁育骷髅头的图片运动,美国骷髅头培育部为鼓励培育的进度制定了严格的评估标准,并规定对繁育出的每一张图片都要进行细致的精准评估。
为了满足评估要求,一个由世界顶级骷髅头评级人员组成的小组,制定了一套先进的测试手段,以零分到100分的标准评定了所有候选图片。在评估骷髅头相似度方面的得分。
有了这个高度精准的测试,作为保障,美国现在可能放手开启一个培育骷髅头图片以及骷髅头相似性图片的新时代新培育的图片,如果在骷髅头相似度测试中得分不高,显然应该被抛弃,而那些得分较高的图片显然应该被进一步培养。
不幸的是,我们已经知道,这种做法最终会得到什么结果。如果我们足够幸运,它可能会带来一些有趣的结果但肯定不会是骷髅头的图片。
看库生成骷髅头图片的具体的踏脚石,实质性图片,你可能就清楚的意识到为什么这个方法永远都不会取得成功。
因为这些踏脚石性质的图片看起来跟骷髅头毫无相似之处,因此无论我们能够多么精准的评估骷髅头的相似度这个方法都不会产生效果。
因为通往骷髅头图片的具备踏脚石性质的图片,无论如何看起来都不像骷髅头这个方法的问题在于我们要比较或评估的东西,看起来与通往骷髅头图片的踏脚石完全不同,因此当我们以一向存在根本性错误的方认为指导时,再多的准确性对我们毫无用处,因为其结果不过是更好的评估了通往正确道路上的干扰因素而非真正的踏脚石。
除了图片,孵化器,网站上的骷髅头图片以外,正如我们在书本前面的章节中反复提到的那样,这是探索及发现的一个普遍属性,即通向伟大成就的踏教师与其最终的成就并不相似,就好像真空管长得不像计算机扁平虫与人类,也没有什么共同点,所有的这些例子一如既往的可以归结为复杂的探索空间中同一类欺骗性的故事。
毫无疑问,确保整个国家的学生都接受过特别良好教育,是一个比繁育骷髅头图片更复杂的多的问题。同理教育评估也不可能从精确度的日益提升中获益,评估只是衡量目前的表现与理想的表现相比有多好。
就像骷髅头图片或本书的第五章,走迷宫的机器人一样,无论评估精准度如何,其结果都可能是迅速的转进一条平庸的死胡同。
为此,我们可以得出一个有悖论的结论,即在这个问题上评估的准确性并不重要。虽然这听起来很奇怪,但如果你意识到目标本身有时候会产生适得其反的效果,或许就可能理解这一理论了。在这种情况下,准确性当然不再具备实际的指导意义。