一、信度定义

信度是衡量调查结果稳定性或者一致性程度的中重要指标，可以反映客观事物被测特征真实程度的度量指标，一般而言，两次或者两个测量的结果越一致说明误差越小。信度一般反映在相同条件下，对同一客观实物测量若干次，测量结果的相关符合程度或者一致程度，说明数据的可靠性。

二、内部一致性信度（同质信度）

内部一致性信度包括组合信度、以及五种计算信度的信度系数，包括克隆巴赫系数，分半信度系数（折半信度系数）、thete信度系数、mcdonalad’s w信度系数、Kuder-richardson信度系数。

1、组合信度

组合信度说明

组合信度是通过因子载荷量计算的表示内部一致性信度的指标，组合信度用的是因子载荷值加和的平方，项目之间相关性越强，说明潜在变量对他们的解释能力也越强，因子载荷值加和的平方就越大，内部一致性就越好。

组合信度操作

Spssau问卷研究→验证性因子分析

组合信度指标判断

组合信度（CR值）计算：

CR=(egin{array}{c}n/(n-1))*(1-(sum SD/sum X)^{2}end{array})

其中CR代表组合信度，n表示测量工具或问卷的总题数，SD表示标准差，X表示平均值。

一般结果形式

文献中的例子：

SPSSAU默认提供：

一个factor相当于一个因子（潜变量），对应的显变量（项目），SPSSAU默认有提供，一般查看整个显变量的组合信度CR值。

2、克隆巴赫系数

克隆巴赫信度说明

一般经常使用cronbach’s a系数衡量数据内在一致性指标。一般当cronbach’s a系数>0.7,说明具有较好的内部一致性。是最常使用的计算内部一致性信度的指标。

克隆巴赫信度操作

SPSSAU问卷研究→信度；

克隆巴赫信度指标判断

指标计算：

其中N为测量个数(即放入SPSSAU的分析项个数), $S^2$表示数据求和后的总变异，$S_i^2$表示第i项的数据变异，$sum S_i^2$表示各项数据变异求和。从公式可以看出，测量项个数会对Cronbach α信度系数产生影响关系，分析项个数越多时，Cronbach a信度系数可能会越高。测量项个数最少为2个，此时信度系数相对可能会最低。

判断标准：

Cronbach α信度在0-1之间，其数值越接近1，说明结构问卷的信度和稳定性越高，一般判断如下：

3、分半信度系数

分半信度一般用于问卷不能进行重复调查的情况下，将调查的项目分为两半计算两半得分的相关系数进而估计整个量表的信度。

Spearman-Brown系数

两部分题项数目一致：

Y_1=2R/(R+1)

其中R代表拆分成两部分数据（先将数据拆分成两部分，然后分别求和，分别得到两列数据）的相关系数值。

两部分题项数目不一致：

Y_2=rac{left[-R^2+sqrt{R^4+rac{4R^2(1-R^2)k_1k_2}{k^2}} ight]}{left[rac{2(1-R^2)k_1k_2}{k^2} ight]}

上公式中R为两部分数据的相关系数，k1和k2分别代表两部分数据分别的分析项个数，k=k1+k2。

Guttman Split-Half 系数

与此同时，SPSSAU还有提供Guttman Split-Half 系数，其也可用于测量信度。计算公式如下：上式中，$mathbf{S}_p^2$表示整体求和部分的方差； $mathbf{S}_{p1}^2$和 $mathbf{S}_{p2}^2$ 分别代表第1部分，第2部分方差。

判断标准：

判断标准与Cronbach α信度一致。

4、thete信度系数

thete信度说明

thete内在一致性信度的一种测量方式，其原理是利用‘信息浓缩’（内部原理为因子分析且提取为1个因子），各个测量项隶属于同一维度且数据真实，那么它们应该浓缩出较高的信息，结合因子分析输出的载荷系数loading值等进一步计算，最终得到指标值。

thete信度操作

SPSSAU问卷研究→信度；

thete信度指标判断

指标计算

heta=rac{N}{N-1}(1-rac{1}{lambda})

上式中N为分析项个数，lambda为最大特征根值。从上式可以看到，当分析项个数越多时，theta信度系数很可能会越大，而且最大特征根越大，theta信度系数值也会越大。

判断标准：

判断标准与Cronbach α信度一致。

5、mcdonalad’s w信度系数

mcdonalad’s w信度说明

mcdonalad’s 原理与thete信度系数的原理一致、

mcdonalad’sw信度操作

SPSSAU问卷研究→信度；

mcdonalad’s w信度指标判断

信度指标计算：

ext{McDonald's }omega=rac{(Sigma ext{loading})^2}{(Sigma ext{loading})^2+sum ext{uniqueness}}

上式中loading为载荷系数值，uniqueness为1-loading^2。从上式可知，loading值整体绝对值越大时，McDonald's ω信度系数值也会越高。

判断标准：

判断标准与Cronbach α信度一致。

6、Kuder-richardson信度系数

如果量表采用的是二分类量表，可以采用库德-理查森信度系数进行表示，二分量表一般提供两个相互排斥的回答，比如是和否，同意或者不同意，喜欢和不喜欢等，一般负面回答赋值为0分，正面回答为满分。

计算方式：

KR20=（K/K-1）×（1-∑piqi/ S2x）

KR20为测验的信度系数；K为题目数；pi和qi分别表示答对和答错第i题的被试人数比例；S2x为测验总分的方差。其是Cronbach α信度系数的特殊形式，适用于二分类量表。

三、重测信度

1、原理

重测信度也叫再测信度（稳定性系数），重测信度一般是同样的测量测量工具，对同一组被调查者间隔一定时间重复测试，考察两次测试结果的相关性，一般相关性模型具有显著性，说明测量共的可信度高。否则可信度低。

2、数据格式

其数据格式为一个分析题为一项，另外只有量表题才能进行信效度分析，一般格式如下：

3、相关系数操作

分别计算两个复本各个维度（或整体）得分，使用pearson相关分析，考察两个量表的相关性。

相关系数说明

比如第一次测量的四道题分别是A1-A4，第二次测量的四道题分别为B1-B4，使用SPSSAU进行计算其总分然后进行相关分析：

2. 计算总分

SPSSAU数据处理→生成变量（求和功能）；

其B1-B4处理也同理。

2. 进行相关分析

SPSSAU通用方法→相关；

4、相关系数一般结果

一般会提供相关系数p值等。

5、icc组内相关系数说明

除此之外还可以查看icc组内相关系数，ICC组内相关系数是用于研究评价一致性，评价信度，测量复测信度（重测信度）的一种研究方法。组内相关系数是衡量和评价观察者间信度的量化指标之一，比如第一次研究收集100份问卷，然后同样一批被试在2个月后再次回答问卷，使用ICC组内相关系数测量复测信度（重测信度）。

其数据格式如下：

比如有3个医生对于5个病人的智商打分一致性。那么需要有3个医生的数据，1个医生为1列即可，其格式类似于配对数据，

6、icc一般结果格式

会提供icc组内相关系数以及95％CI，icc等于个体的变异度除以总的变异度，他的计算结果介于0~1之间，0代表信度季度，1代表信度极高，评分寄过完全可信，其中通常情况下，ICC值大于0.75则说明一致性高，0.40~0.75之间为一致性较好，0.4以下说明一致性差。

四、复本信度

1、原理

复本信度是让同一组参与调查者一次填两份问卷，原理上也是计算两个复本的相关系数，但是复本信度，一般使用较少，因为其对于两份问卷没在内容和提问要求等都完全一致。在实际调查中，很难满足要求。并且复本信度只能反映问卷内容所造成的误差，无法反应答卷者本身所造成的误差等。

2、数据格式

数据格式与重测信度（pearson相关系数）一致。

3、操作

分别计算两个复本各个维度（或整体）得分，使用pearson相关分析，考察两个量表的相关性。具体可以参考重测信度、

4、一般结果

一般会提供相关系数p值等。

五、评分者信度

评分者信度是若干评分者对同一组测试结果评分的一致性程度，如果是多个评分者或者一位评分者两次以上的评分可以使用rwg、肯德协同系数以及科恩卡帕系数等进行分析。

2、肯德协同系数

使用肯德尔和谐系数进行检验评分者测量结果之间的一致性程度，当不同的评分者使用相同的工具同时测试相同的对象时，需计算评分者检的一致程度，由于被测试者的得分收到评分者的主观判断的影响，不同的评分者对相同被试者的评分存在差异，如果多个评价者同时评价多个对象，评价结果是以等级记录，那么衡量多个评价者评价意见的一致性程度，可以考虑使用肯德和谐系数（kendall 和谐系数）计算计算，其计算如下：

式中，W为肯德尔和谐系数；K为评分者（一般3≤K≤20）；N为评分对象；Ri为第i个评分对象的等级（或赋值）分；n为相同等级的个数。Spssau一般结果格式如下：

其中卡方值的计算为：

其与上式中K、W、N的意义一致。

3、CV系数

变异系数是参与意见征询的所有专家对本研究提出的评价指标合宜性评判结果的一致性程度，变异系数是数据的标准差与均值的比值当结果越接近100％，就说明专家间的协调程度越高，一些研究者认为变异系数应该小于30％，若大于这一数值意味着评价对象或者指标存在较大的问题或者风险，应该被删除，其一般与肯德尔和谐系数联用用于去判断研究中专家意见的一致性程度（比如AHP权重计算方法），一般如果cv系数越小，肯德尔系数越大说明专家一致性程度更高。

判断标准为：

4、卡帕系数

可以采用科恩卡帕（Cohen Kappa）系数进行计算一致性从而检验信度（一般是两名评价者），一般认为检验值大于等于0.61说明被认为一致，其计算公式如下：

k=rac{P_{mathrm{o}}-p_{mathrm{e}}}{1-p_{mathrm{e}}}

其中P_{mathrm{o}为编码一致的样本比例，p_{mathrm{e}为编码不一致样本计算出的偶然预期一致性比例。其中p_{mathrm{e}的计算为：

p_ ext{e}=rac{1}{n^2}sum_{m=1}^{4}f_{im}cdot f_{jm}

例如，两名成员i和j标记情感态度，共4类标记,记为m=0, 1, 2, 3。总样本量记为n。fim是成员i标为类别m的样本中与成员j标记结果不-致的比例。fm是成员j标为类别m的样本中与成员i标记结果不-致的比例。

SPSSAU提供的kappa检验是福莱西卡帕系数(Fleiss’s Kappa)，其为科恩卡帕的延伸，科恩卡帕需要两个评价者，但是Fleiss’s Kappa 允许多名评价者进行评价，

Fleiss’s Kappa系数取值在0～1之间，通常情况下：Kappa <0.2则说明一致性程度较差；0.2~0.4之间说明一致性程度一般；0.4~0.6之间说明一致性程度中等；0.6~0.8之间说明一致性程度较强；0.8~1.0之间说明一致性程度很强。其在spssau操作如下：

4、组内评分者信度rwg

Rwg也是一种衡量组内评分者信度的方式，一般适用于多层次（多水平）层面的跨层数据，其计算公式如下：

其分析结果中还会提供两个ICC值，比如：有一项关于员工团队合作能力的打分数据，共有10个员工，并且10个员工分成2个组别。关于团队合作能力的评分，其使用6个测量项进行测量（并且使用5级量表打分制）。其数据格式如下：

ICC1值研究每个测量项的得分一致性情况，ICC2值研究6个测量项得分上的一致性情况。事实上rwg值、ICC1值和ICC2值的意义均在于评价一致性情况。但通俗理解来看（从站在角度上），rwg值可理解为研究‘行’数据的一致性，ICC1或ICC2值研究‘列’数据的一致性情况。

5、icc组内相关系数

ICC组内相关系数用于测量评分数据一致性水平。ICC取值在0～1之间，通常情况下：ICC <0.2则说明一致性程度较差；0.2~0.4之间说明一致性程度一般；0.4~0.6之间说明一致性程度中等；0.6~0.8之间说明一致性程度较强；0.8~1.0之间说明一致性程度很强。ICC组内相关系数的使用范围较广，但其复杂度相对较大。需要特别注意数据格式、以及具体ICC模型的选择使用等。假设3个医生对于10个病人智商分值打分，录入后的ICC数据格式如下：

更多可以参考SPSSAU帮助手册。

六、不同信度的区别

信度的分类一般可以分为四类，分别是内部一致性信度、重测信度、复本信度以及评分者信度。具体说明如下：

七、信度实践应用

1、信度与效度

信效度分析是先进行信度还是先进行效度？一般在分析中先进行效度分析，在进行信度分析，并且一个问卷中的效度更重要。一个问卷有效度就要有信度，没有信度就没有效度，但是有新都不一定有效度，信度高，效度不一定高，但是效度高，一般信度也高，效度低，信度也可能低。

2、信度低怎么办

信度不达标怎么办？可以试试如下办法：

非量表题不行进行信效度分析

查看参与分析的分析项是否有非量表题；非量表是不能参与信效度分析的；

适当增加通知题目从而增加量表长度；

反向题处理

查看数据是否有反向题，存在反向题需要进行反向题处理；

难度适中

设置问卷题目的难度需要适中；

查看数据中是否有过多的异常值，如果存在大量异常值可能会影响结果；

参考文献：

[1]许研,陶晓波.基于文本挖掘技术的分时租赁共享汽车用户体验及影响[J].公路交通科技, 2023, 40(9):248-256.DOI:10.3969/j.issn.1002-0268.2023.09.029.

[2]钟韬,魏庆曜.职业能力测评中评分者信度FINN系数与ICC的计算与MATLAB实现[J].西南民族大学学报：自然科学版, 2015, 41(4):5.DOI:10.11920/xnmdzk.2015.04.018.

[3]曹恽.青少年足球前锋队员定位球战术意识评价方法设计及应用[D].南京师范大学[2023-11-27].DOI:10.7666/d.y1330168.

[4]翟志峰.核心素养视域的中学语文教科书评价指标体系建构[D].华东师范大学,2021.DOI:10.27149/d.cnki.ghdsu.2021.000388

[5]胡欣阳.高中生科学批判性思维测评与培养研究[D].山东师范大学,2023.DOI:10.27280/d.cnki.gsdsu.2023.000024

[6]王岗;孙继佳;张静;张安;董恩宏.基于组合赋权的社区中西医协同疫病防控能力评价指标体系构建研究[J].卫生软科学,2023,37(10):28-32.