Page 38 - CASA Bulletin of Anesthesiology 2022; 9(3)-1 (1)
P. 38

CASA Bulletin of Anesthesiology



                   评估者间可靠性( inter-rater reliability)和组内相关系数(Intra-class correlation coefficient,

               ICC)

               郑婵凡- 温州医科大学附属第二医院临床医学研究中心助理统计师

                   大家都知道对于主观的事宜,人多主意多,大家有不同的观点。最终的共识,经常采用少数
               服从多数的办法。在临床研究中,有些需要通过主观判断的指标,比如本研究的波形图判断,或

               放射科、病理科的影像学诊断,如果只有某研究人员说了算,研究结论的客观性就应该得到质
               疑。临床研究中,经常采用事先建立的一个相对客观的标准,通过奇数(通常采用 3 人制)投票的

               方式认定正误,以多数票为准。这类数据的处理往往比较复杂,也比较关键,如果评判者经常偏
               离既定的标准行事,原先制定的判断标准的客观性便会令人质疑,研究结论的可重复性将会是个

               问题。为解决这一关键问题,统计学上有专门的分析方法,为读者对最后结论是否认可提供一个
               参考值。这种分析叫评估者间可靠性(Inter-rater reliability) 分析,也称为评价者间统一性

               (inter-rater agreement) ,评价者间一致性 (inter-rater concordance) ,观察者间可靠性
               (inter-observer reliability) 等。它是对同一现象进行评级、编码或评估的独立观察者之间一致性

               的评判。

                   还有一种叫评分者内信度(intra-rater reliability)分析。它是通过对同一个人在多个实例中给
               出的评分一致性的得分来确定的。人们在按设定标准评分过程中,常常会因为疲劳而出现前后评

               分的差异,也会因为对前后不同论文的质量或风格等差异产生偏好,而偏离了按预设标准评判的
               原则,变成论文与论文间的评判。

                   评分者间可靠性和评分者内信度都是有效性的测试。这两者的评估通过确定预设标准是否能

               合情合理地测量特定变量,从而成为完善人为评判的工具。如果不同评分者之间出现分歧,要么
               是预设标准存在缺陷,要么是评分者需要重新培训,更熟悉了解标准。

                   有许多统计方法可用于上述分析,如,一致性联合概率(joint-probability of agreement),

               Cohen's kappa, Scott's PI,相对 Fleiss' kappa, 评分者间相关性(分析)(inter-rater
               correlation), 一致性相关系数(concordance correlation coefficient), 组内相关性(分析)(intra-

               class correlation), and Krippendorff's alpha。根据需要,选用不同的方法。

               以下先了解几个和本文有关的组内相关性分析(intra-class correlation)的相关概念 :
                                                                                                 5
               1,什么是组内相关系数?

                   组内相关系数是评分者内信度分析/组内相关性分析的一种方法。当我们在评价不同测定方法

               或评定者对同一定量测量结果的一致性或可靠性时,通常使用组内相关系数(Intraclass
               correlation coefficient, ICC)。假设我们开展一项调查,有 N 个回应者完成相同的问卷,每个回


                                                                                            P a g e  37 | 63
   33   34   35   36   37   38   39   40   41   42   43