类内一致性评估方法总览
详细可参考> 七类一致性检验方法汇总 - 简书 (jianshu.com)
1、 ICC 信度系数
类内相关系数（Intraclass Correlation Coefficient，ICC）又称组内相关系数或信度（Reliability），是一种评估多种测量方法或多个评分者定量或有序测量值的复测信度的信度系数指标，该指标通过计算测量方法方法间方差占全部测量方法间方差之和（总变异）的比例来反映类内个体的总体一致度（相似性）。
0≤ICC≤1，ICC越接近1，说明测量结果的可重复性（Repeatability）越好，测量误差越小。
ICC的理论范围在0-1，一般地，ICC位于0-0.5之间表示信度差，0.5-0.75表示中等，0.75-0.9表示好，0.9-1表示极好。
其中 ICC=0.5 表示真实变异和噪声变异相同
【统计方法】一致性分析：组内相关系数(ICC)的10种形式选择（Python实现）_风巽·剑染春水的博客-CSDN博客
【R语言实现】组内相关系数的意义及R语言实现 - 简书 (jianshu.com)
2、其它评估组内一致性的系数包括 Kendall W协调系数和 Fleiss kappa，相关系数
- ICC的适用场景最多，包括定量或定类数据，同时可针对多相关样本进行一致性分析；
- Kendall W协调系数 适用于定量数据，且更多倾重于数据关联性研究。
- 相关系数(Spearman、Pearson、Cohen kappa)，相关系数只能用于两个测量之间的评价，由于一般进行一致性检验的数据都比较少，很少满足正态性检验，故如果使用相关分析进行一致性检验，一般使用Spearman相关系数，而不使用Pearson相关系数 ，在计算上 Spearman 是对样本特征值进行了排序后按照 Pearson相关系数 计算方法计算出来的。熟知的皮尔逊相关系数是根据两个变量之间的协方差和标准差的商进行定义的，它对于变量的均值和方差都不敏感，只对变量之间的协方差敏感。
- Fleiss kappa 是对 2 个以上测量间的 Cohen kappa 的推广，
3、 等级变量--分类变量
分类变量 是一种描述性变量，也称为定性数据。分类变量是描述性信息的一种形式，描述的是某个对象或人群的性质、特征或类别，例如，性别、种族。对这些分类变量的值进行数值化之后，数值间的距离不反映对象的相似性，而是体现了绝对的不同。
等级变量 是一种定量数据，通常用于表征样本之间的大小或强度，取值通常按照一定次序排列。如地震强度、学生成绩、基因的表达水平。
Kendall's W 系数适用于等级数据的一致性评估，其计算每个item 在所有评价者之间排名一致的次数，从而评估一致性。Kendall 系数测量评级之间的关联性时，Kappa 统计量反映评级之间绝对一致。因此，Kappa 统计量同等对待所有错误分类，但 Kendall 系数区别对待所有错误分类。例如，Kendall 系数认为将一个完美（评级 = 5）对象错误分类为差（评级 = 1）的后果要比将其错误分类为非常好（评级 = 4）更严重。
Fleiss Kappa 系数适用于评价分类变量的一致性，在等级数据的情况下，由于等级是有序的，而非无序的分类变量，所以在重复测量时，相近的等级在 Fleiss Kappa 评估方法中会被视为不同的值，从而不准确的反映数据的一致性。
网友评论