Page 38 - CASA Bulletin of Anesthesiology 2022; 9(3)-1 (1)
P. 38
CASA Bulletin of Anesthesiology
评估者间可靠性( inter-rater reliability)和组内相关系数(Intra-class correlation coefficient,
ICC)
郑婵凡- 温州医科大学附属第二医院临床医学研究中心助理统计师
大家都知道对于主观的事宜,人多主意多,大家有不同的观点。最终的共识,经常采用少数
服从多数的办法。在临床研究中,有些需要通过主观判断的指标,比如本研究的波形图判断,或
放射科、病理科的影像学诊断,如果只有某研究人员说了算,研究结论的客观性就应该得到质
疑。临床研究中,经常采用事先建立的一个相对客观的标准,通过奇数(通常采用 3 人制)投票的
方式认定正误,以多数票为准。这类数据的处理往往比较复杂,也比较关键,如果评判者经常偏
离既定的标准行事,原先制定的判断标准的客观性便会令人质疑,研究结论的可重复性将会是个
问题。为解决这一关键问题,统计学上有专门的分析方法,为读者对最后结论是否认可提供一个
参考值。这种分析叫评估者间可靠性(Inter-rater reliability) 分析,也称为评价者间统一性
(inter-rater agreement) ,评价者间一致性 (inter-rater concordance) ,观察者间可靠性
(inter-observer reliability) 等。它是对同一现象进行评级、编码或评估的独立观察者之间一致性
的评判。
还有一种叫评分者内信度(intra-rater reliability)分析。它是通过对同一个人在多个实例中给
出的评分一致性的得分来确定的。人们在按设定标准评分过程中,常常会因为疲劳而出现前后评
分的差异,也会因为对前后不同论文的质量或风格等差异产生偏好,而偏离了按预设标准评判的
原则,变成论文与论文间的评判。
评分者间可靠性和评分者内信度都是有效性的测试。这两者的评估通过确定预设标准是否能
合情合理地测量特定变量,从而成为完善人为评判的工具。如果不同评分者之间出现分歧,要么
是预设标准存在缺陷,要么是评分者需要重新培训,更熟悉了解标准。
有许多统计方法可用于上述分析,如,一致性联合概率(joint-probability of agreement),
Cohen's kappa, Scott's PI,相对 Fleiss' kappa, 评分者间相关性(分析)(inter-rater
correlation), 一致性相关系数(concordance correlation coefficient), 组内相关性(分析)(intra-
class correlation), and Krippendorff's alpha。根据需要,选用不同的方法。
以下先了解几个和本文有关的组内相关性分析(intra-class correlation)的相关概念 :
5
1,什么是组内相关系数?
组内相关系数是评分者内信度分析/组内相关性分析的一种方法。当我们在评价不同测定方法
或评定者对同一定量测量结果的一致性或可靠性时,通常使用组内相关系数(Intraclass
correlation coefficient, ICC)。假设我们开展一项调查,有 N 个回应者完成相同的问卷,每个回
P a g e 37 | 63