信度不达标的处理方式

在进行问卷研究时,特别是问卷中有非常多的量表题时,数据质量是基础保障,问卷研究中排在最前面的即为数据质量分析,通常包括信度和效度分析。本身进行信度或者效度分析并非难事,但最难的事情在于如果信度或者效度不达标应该如何处理。

接下来慢慢阐述信度分析(下一篇文章阐述效度分析),以及信度分析时的处理方法,如何解决出现的问题等。本书中使用的较多内容参考于“问卷数据分析-破解SPSS的六类分析思路”一书,以及使用网页版本在线spss软件spssau进行操作说明等。

信度分析,即研究样本数据是否真实可靠,通俗来讲即研究样本是否真实回答各个题项。如果样本没有真实回答,信度肯定不达标,而有时即使样本真实回答,信度也不一定达标。信度分析可以分为四类,分别是:α信度系数、折半信度、复本信度和重测信度。

(1) α信度系数,即内部一致性系数。此类信度分析最为常见,基本上所有问卷信度分析均会使用此类分析。通过软件计算出α信度系数值,并且用其进行信度水平判断。进行此分析前,首先需要对反向题进行反向操作,并且α信度系数的测量通常以最小的维度为准,而非大维度。

一般来讲:α系数最好在0.8以上,0.7~0.8之间属于可以接受范围,而分量表的α信度系数希望在0.7以上, 0.6~0.7之间可以接受。如果α信度系数低于0.6则考虑修改量表。从α信度系数计算公式来看,维度对应的题项越多,以及样本量越多时,此值会越大。从笔者经验来看,如果某个维度仅由三个或者两个题项组成,并且样本量在200以下时,那么α信度系数通常会较小(低于0.6)。1个题项表达的维度无法进行α信度系数计算。

α信度系数是问卷信度分析中最为常见的分析方法,绝大多数时候使用α信度系数进行信度测量即可,笔者建议使用α信度系数进行问卷信度测量,问卷前测也类似,但问卷前测时会结合CITC和删除某项后的信度系数值进行判断是否修正或者删除题项,通常来讲,CITC值低于0.4,或者删除某项后的信度系数值反而上升0.1左右时应该考虑对题项进行修正或者删除处理。

特别提示:α信度系数(内部一致性系数)是最为常见的信度测量方法。

(2) 折半信度。折半信度是将维度对应的题项按照单双号分成两组,通过计算两组题项间的相关系数,进而再通过公式计算得到折半信度系数值,并且进行衡量信度质量。心理学、教育学类经典量表常使用此类方法进行信度质量衡量。判断标准可参考α信度系数的衡量标准。此类分析方法较为少见。

(3) 复本信度。复本信度是同样一组样本,一次性回答两份问卷,比如同样一组学生连续做两份同样难度水平的试卷。然后通过计算两份样本相关系数,从而进行信度质量衡量,由于实际操作过程中有诸多客观条件限制,此类分析方法较为少见。

(4) 重测信度。重测信度指同样的样本,在不同的时间点回答同样一份问卷。继而计算两份数据的相关系数,并且通过相关系数去衡量信度质量。重测信度可以评估时间差异带来的误差,但实际操作中有诸多不便,因而此类分析使用较少。

上述四种信度方法,正常情况下是使用第一种研究,第二,第三和第四种信度研究方法非常少见,使用场景上通常为实验式或者非常复杂的研究中会使用到。第一种信度即α信度系数的测量最为常见。以网页版本spssau软件为例,将同一维度对应的题项拖拽到右侧即可。特别提示下,信度分析是以维度为单位进行分析,一个维度一定需要对应多个题项才可以,一个题项无法做信度分析。以spssau为例,共1个维度叫做‘课程质量’对应3项,进行操作如下:

点击分析得到结果如下,包括表格和智能分析。


1.表格中共包括三列,分别是CITC值,删除项后的信度系数值,整体信度系数值。事实上,我们进行信度分析时,更关注于整体信度系数值。首先分析α系数,如果此值高于0.8,则说明信度高;如果此值介于0.7~0.8之间;则说明信度较好;如果此值介于0.6~0.7;则说明信度可接受;如果此值小于0.6;说明信度不佳;

2.如果说有发现整体信度系数值不达标,此时此应该关注于CITC和删除项后信度系数值这两个指标。如果CITC值低于0.3;可考虑将该项进行删除;如果“项已删除的α系数”值明显高于α系数,此时可考虑对将该项进行删除后重新分析。删除相关项后再次进行分析即可。直至信度系数高于0.6,当然这一过程在spssau中也可以直接智能化,可参考使用。

信度分析的操作非常简单,但当数据出现问题之后如何处理,这才是关键。书籍中将解的内容都以高质量数据作为案例,但现实中数据质量通常会‘出乎意料’。

本文总结出信度不达标的几种情况,以及对应的处理办法。

1.整体α信度信度系数值小于0;

2.整体α信度信度系数值介于0~0.5之间;

3.整体α信度信度系数值介于0.5~0.6之间。

接着对应讲解三种情况的处理办法:

1.如果说α信度信度系数值小于0,请查看是否有反向题。何为反向题?比如有5个题表示1个维度;其中4个题数字越大说明越喜欢运动,另外1个题数字越大说明越不喜欢运动,那么此项即为反向题。需要先进行数据编码,反向处理后,使用反向处理后的数据进行信度分析。

2.整体α信度系数值介于0~0.5之间时,此时说明信度有点'不可救药',出现此类情况通常原因有3种。一是用错方法,信度分析只针对量表题,但非量表题都放进去分析;二是问卷设计质量太糟糕,量表题的设计随心所欲完全不带一点参考;三是样本量少(比如小于50)并且一个维度仅对应2个题项,样本少信度系数值相对会较低。无论是那种情况,解决流程均是:结合CITC值和项已删除后的信度系数值,先删除掉很糟糕项,然后再接着依次循环,直至信度系数可接受可止。

3.整体α信度系数值介于0.5~0.6之间。如果说分析项仅2个,此时只能接受这种事实。如果分析项为3个或者更多,此时则需要结合CITC值进行处理,删除掉CITC值小于0.3的项后再次进行分析,以及结合’项已删除后的信度系数值‘这个指标进行删除分析项。如果说分析项仅为2个,此时没有其它办法,要么接受要么直接放弃掉该维度。

在进行信度分析时,如果说确实是量表项,而且数据真实,事实上很少会再现问题。但有两种情况是需要提前注意:

1.不知道量表数据才能进行信度分析。这种情况最糟糕后续是无法进行分析的。即不能使用研究方法使用客观数据指标描述清楚信度情况,可以考虑使用文字描述数据的收集过程和收集方式等,以证明数据真实可靠,即信度可靠。

2.量表数据自己乱设计,量表是相对规范的一种测量题项,需要有较强的参考文献,而且一个维度对应的量表要来自于同一个参考出处。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,937评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,503评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,712评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,668评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,677评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,601评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,975评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,637评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,881评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,621评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,710评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,387评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,971评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,947评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,189评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,805评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,449评论 2 342

推荐阅读更多精彩内容

  • 1. 简述相关分析和回归分析的区别和联系。 回归分析和相关分析都是研究两个或两个以上变量之间关系的方法。 广义上说...
    安也也阅读 8,649评论 0 3
  • 需求挖掘第一步:如何做高质量的需求调研-尚媛媛 第一个主题,问卷调研的使用场景。 例如很多问题是不能通过问卷调研提...
    涵昱阅读 1,481评论 2 7
  • 信度主要是指测量结果的可靠性、一致性和稳定性,即测验结果是否反映了被测者的稳定的、一贯性的真实特征。 ...
    渣小九阅读 5,295评论 0 0
  • 交换场地再战。这次不知怎么了,红布一直往对方移去,我们怎么用力也不行,我们输了。但我们不灰心,因为我们只打
    橙色小蘑菇阅读 212评论 0 8
  • [cp]小富由己,大富在天。投资能不能改变你的命运,不在于投资,他只是个道具,关键的,还是你自己的心。一念天堂,一...
    横折折阅读 248评论 0 0