可靠性分析(也叫信度分析)
一、什么是信度?
信度是指根据测验工具(量表)所得到的结果的一致性或稳定性,反映被测特征真实程度的指标。一般而言,两次或两个测验的结果愈是一致,则误差愈小,所得的信度愈高,它具有以下特性:
1 、信度是指测验所得到结果的一致性或稳定性,而非测验或量表本身;
2、信度值是指在某一特定类型下的一致性,非泛指一般的一致性,信度系数会因不同时间、不同受试者或不同评分者而出现不同的结果;
3、信度是效度的必要条件,非充分条件。信度低效度一定低,但信度高未必表示效度也高;比如某一个菜贩,他的杆秤称出来的东西永远是1斤,证明信度很高,但是这菜实际就8两,效度不高
信度和效度的差异:
(1)研究的对象不同 信度:答卷者 效度:组卷人
(2)研究的角度不同 信度:测量的质量 效度:问卷的质量
信度检验完全依赖于统计方法,信度可分为两种:
1)内在信度:对一组问题是否测量同一个概念,同时组成量表的题项的内在一致性程度如何;常用的检测方法是Cronbach’s alpha系数。
2)外在信度:对相同的测试者在不同时间测得的结果是否一致,再测信度是外在信度最常用的检验法。
二、信度的指标
1. 用信度系数来表示信度的大小。信度系数主要被用于评价问卷这种测量工具的稳定性或可靠性,具体来说就是用问卷对同一事物进行重复测量时,所得结果的一致性程度 。
目前没有统一的标准,但根据多数学者的观点,任何测验或量表的信度系数如果在0.9以上,则该测验或量表的信度甚佳;信度系数在0.8以上都是可接受的;如果在0.7以上,则该量表应进行较大修订,但仍不失其价值;如果低于0.7,问卷的测量效果非常差!
在大型量表中,往往一组问题用来集中测量某一方面的信息。此时信度分析应当按问题组来进行,即测量同一信息的一组问题间信度如何,而不是直接测量整个量表的信度。
2.信度指标多以相关系数来表示。大致可分为三类:
①稳定系数(跨时间的一致性)
②等值系数(跨形式的一致性)
③内在一致性系数(跨项目的一致性)
三、信度分析方法
1)a信度系数法(最常用)。克隆巴赫a信度系数是目前最常用的信度系数。其公式为:a=(k/k-1)*(1-(∑Si2)/ST2)。其中,K为量表中题项的总数,Si2为第i题得分的题内方差,ST2为全部题项总得分的方差。从公式中可以看出,a系数评价的是量表中各题项得分间的一致性,属于内在一致性系数。这种方法适用于态度、意见式问卷(量表)的信度分析。
在李克特量表(李克特量表(Likert scale)是属评分加总式量表最常用的一种,属同一构念的这些项目是用加总方式来计分,单独或个别项目是无意义的。它是由美国社会心理学家李克特于1932年在原有的总加量表基础上改进而成的。该量表由一组陈述组成,每一陈述有"非常同意"、"同意"、"不一定"、"不同意"、"非常不同意"五种回答,分别记为5、4、3、2、1,每个被调查者的态度总分就是他对各道题的回答所的分数的加总,这一总分可说明他的态度强弱或她在这一量表上的不同状态。)中常用的信度检验方法为“Cronbach’sa”系数及“折半信度”.
2)折半信度法。折半信度法是指将测量项目按奇偶项分成两半,分别记分,测算出两半分数之间的相关系数(实际应用EXCEL软件),再据此确定整个测量的信度系数RXX。折半信度属于内在一致性系数,测量的是两半项目间的一致性。这种方法不适合测量事实性问卷,常用于态度、意见式问卷的信度分析。在问卷调查中,态度测量最常见的形式是5级李克特量表。进行折半信度分析时,如果量表中含有反意题项,应先将反意题项的得分作逆向处理,以保证各题项得分方向的一致性,然后将全部题项按奇偶或前后分为尽可能相等的两半,计算二者的相关系数(rhh)),即半个量表的信度系数,最后用斯皮尔曼-布朗(Spearman-Brown)公式:rtt=2rhh/(1+rhh),求出整个量表的信度系数RTT。
3)重测信度法。用同样的问卷对同一被测者间隔一定时间的重复测试,也可称作测试—再测方法,计算两次测试结果的相关系数。很显然这是稳定系数,即跨时间的一致性。重测信度法适用于事实性的问卷,也可用于不易受环境影响的态度、意见式问卷。由于重测信度需要对同一样本试测两次,而被测容易受到各种事件、活动的影响,所以间隔时间需要适当。较常用者为间隔二星期或一个月。
4)复本信度法(等同信度法)。复本信度法是让被测一次填写两份问卷复本,计算两个复本的相关系数。由于这种方法要求两个复本除表达方式不同外,在内容、格式、难度和对应题项的提问方式等方面都要完全一致,所以复本信度属于等值系数。在实际的调查中,问卷很难达到这种要求,这种方法较少被采用。
5)评分者信度。这种方法在测量工具的标准化程度较低的情况下进行的。不同评分者的判分标准也会影响测量的信度,要检验评分者信度,可计算一个评分者的一组评分与另一个评分者的一组评分的相关系数。
下面通过一个实例来讲解问卷信度分析
一、问题描述
二、SPSS操作
【模型】栏:提供5种方法。spss给的都是内部信度计算模型,至于重测信度和复本信度,只需将样本在二次(份)测验的分数的数据合并到同一数据文件之后,利用【相关】之下的【双变量】求其相关系数,即为重测或复本信度;而评分者信度则是使用的Spearman等级相关及Kendall和谐系数。这里不详述。
1)Alpha 模型。系数 alpha;对于二分数据,它等同于 Kuder-Richardson 20 (KR20) 系数。本例选择a系数
2)折半模型。形式之间的相关性、Guttman 半分可靠性、Spearman-Brown 可靠性(相等长度和不相等长度)以及每一半的 alpha 系数。
3)Guttman 模型。可靠性系数 lambda 1 到 lambda 6。
4)平行和严格平行模型。模型拟合度优度检验;误差方差的估计值、公共方差和真实方差;估计的公共项间相关性;估计的可靠性以及可靠性的无偏估计。
【统计】栏:可以选择各种统计,用于描述标度、项和评分者间一致性,以确定各种评分者之间的可靠性。如下图所示
一、描述性:为跨个案的标度或项生成描述统计。
1)项。为跨个案的项生成描述统计,包括均数、标准偏差和频数。
2)度量。为标度生成描述统计。
3)如果项已删除则进行度量。显示将每一项与由其他项组成的标度进行比较时的汇总统计。后面结果会介绍。
二、摘要:提供跨标度中所有项的项分布的描述统计。
1)平均值。项平均值的汇总统计。
2)方差。项方差的汇总统计。
3)相关性。项之间的相关性的汇总统计。 显示项之间的相关性的最小、最大和平均值,项间相关性的范围和方差,以及最大项之间的相关性与最小项之间的相关性的比。
4)协方差 。项间协方差的汇总统计。
三、项之间:生成项与项之间的相关性矩阵或协方差矩阵。
四、ANOVA 表:生成相等平均值的检验。
1)F 检验。显示重复测量方差分析表。
2)Friedman 卡方。显示 Friedman 的卡方 Kendall 的协同系数。此选项适用于以等级为形式的数据。卡方检验在 ANOVA 表中替换通常的 F 检验。
3)Cochran 卡方。显示 Cochrans Q。此选项适用于双分支。Q 统计在 ANOVA 表中替换通常的 F 统计。
五、其他选项
1)Hotelling 的 T 平方。生成以下原假设的多变量检验:标度上的所有项具有相同的平均值。
2)Tukey 的可加性检验。生成以下假设的检验:各个项之间不存在可乘交互。
3)同类相关系数。生成个案内值的一致性或符合度的测量。选中激活下面子选项框:
模型。选择用于计算同类相关系数的模型。可用的模型为双向混合、双向随机和单向随机。当人为影响是随机的,而项的作用固定时,选择双向混合;当人为影响和项的作用均为随机时选择双向随机。当人为影响随机时选择单向随机。
类型。选择指标类型。可用的类型为“一致”和“绝对一致”。
置信区间 (%)。指定置信区间的置信度。缺省值为 95%。
检验值。指定假设检验系数的假设值。该值是用来与观测值进行比较的值。缺省值为 0。
三、结果分析
刻度均值:剔除这一项,剩余其他项总体均值会变为多少
刻度方差:剔除这一项剩余其他项总体的变异程度有多大
相关性:这一项与总分相关性
项已删除Crobach Alpha值:剔除这一项剩余总信度,和总的信度比较,剔除这一项信度变高了,说明可以剔除,可以优化。
从表中可以发现剔除q5或q6这一项信度变高了,可以推测这两个项设计可能存在问题,需要修改完善。