科研星球

要做一致性检验,统计方法怎么选?

1、是否进行一致性检验?

一致性检验主要分为4种:(1)重测一致性,用于分析同一检测方法多次测量的一致性;(2)观察者一致性,用于分析不同观察者对同一研究对象进行评估的一致性;(3)内部一致性,用于分析测量工具(如问卷)中不同问题对同一事物的测量信度;(4)诊断试验一致性,用于判断新方法与金标准的检验结果一致性。示例如下:


下载.jpeg



2、 判断研究设计类型

2.1 重测一致性


如果研发了一种新的测量工具(如,问卷或某种生物标志物的检测试剂),研究者会想知道该测量工具的可靠性。即,重测一致性是检验某一检测方法多次测量的一致性。换句话说,分别对一位受试者进行两次检测,检测结果一样吗?


举例来说,在理想情况下,分别2次测量同一组受试者的血压。如果测量工具可靠,那么每位受试者两次得到的血压值应该一致。重测一致性就是对该类情况进行检验,分析同一组研究对象经过多测检测后,检测结果的一致性。示例如下:


 

2.2 观察者一致性


观察者一致性常用于分析2位及以上观察者对同一研究对象进行评估的一致性。举例来说,研究者拟分析2位放射科医生对疾病严重程度诊断的一致性。现收集了50位研究对象的MRI检查结果,并要求放射科医生分别对每份MRI检查给予最轻到最重5个等级的临床诊断。


如果一位医生给其中一位患者MRI的诊断为最重(5分),但另一位医生的诊断为轻度(2分),那么就说明这两位医生对该患者MRI的诊断结果不一致。我们希望得到的结果是两位医生对每位患者的诊断结果都基本一致,甚至完全一样,这样就能够说明这两位医生的诊断一致性较好。观察者一致性研究设计就是用来分析这类情况的,通过统计学方法判断观察者评估结果的一致性。示例如下:


下载 (2).jpeg

 

2.3 内部一致性


内部一致性常应用于问卷信效度检验,适用于分析测量工具(如问卷)中一组题目对研究对象的测量信度。在实际研究中,很多事物或态度是不能直接被测量的,比如工作积极性,研究者常需要设计一组题目间接反映它们的真实情况。但这些题目是否可以实现研究目的,就需要我们通过统计方法进一步分析了。举例来说,研究者拟通过5个问题测量受试者的工作积极性,内部一致性检验可以帮助研究者分析这5个问题在测量工作积极性上的一致性。示例如下:


640 (2).png


2.4 诊断试验一致性


在疾病或生物标记物的检测上常存在金标准,但研究者往往会提出一些新的检测方法,或方便、或便宜、或依从性更高,希望分析这些新检测方法与金标准检测结果的可重复性,即开展诊断试验一致性研究。示例如下:


640.png



3、 判断重复测量次

确定开展重测一致性或观察者一致性研究时,我们需要进一步判断重复测量的次数来选择合适的检验方法,一般分为重复测量2次或重复测量3次及以上


重测一致性的示例如下:


640 (1).png


观察者一致性的示例如下:


640 (3).png



4、检验方法选择

4.1 重测一致性或观察者一致性


4.1.1 连续变量


(1) 重复测量2次

组内相关系数(ICC)。该检验常用于评价不同测量方法或观察者对同一研究对象进行测量的结果一致性。在诊断实验中,我们也常常使用ICC指标评价不同标准对同一组试验结果进行诊断的可重复性。


(2) 重复测量3次及以上

组内相关系数(ICC)。该检验常用于评价不同测量方法或观察者对同一研究对象进行测量的结果一致性。在诊断实验中,我们也常常使用ICC指标评价不同标准对同一组试验结果进行诊断的可重复性。


4.1.2 有序分类变量


(1) 重复测量2次

① 加权kappa系数

该检验方法是Kappa一致性检验针对有序分类变量的延伸,适用于开展重测一致性、观察者一致性和诊断试验一致性分析。


② Kendall协同系数

该检验又称为Kendall’s W系数,适用于开展重测一致性、观察者一致性和诊断试验一致性分析。


(2) 重复测量3次及以上

Kendall协同系数。该检验又称为Kendall's W系数,可以进行2次或多次(3次及以上)重复测量的一致性分析。


4.1.3 无序分类变量


(1) 2次重复测量

Kappa一致性检验。该检验又称Cohen's kappa,常用于对比两项检验结果的可重复性,多用于重测一致性、观察者一致性和诊断试验一致性分析。


(2) 重复测量3次及以上

Fleiss' kappa系数。该检验适用于分析重复测量3次及以上且测量结果是无序分类变量的重测一致性或观察者一致性检验。SPSS没有内置操作模块,但可以通过拓展包输出结果。


4.2 内部一致性


克朗巴哈系数(Cronbach's α)。该检验可以用于评价连续变量的内部一致性,也常用于检测有序分类变量和二分类变量的内部一致性。


4.3 诊断试验一致性


(1) 连续变量

① 组内相关系数(ICC)

该检验常用于评价不同测量方法或观察者对同一研究对象进行测量的结果一致性。在诊断实验中,我们也常常使用ICC指标评价不同标准对同一组试验结果进行诊断的可重复性。


② Bland–Altman分析

该方法是一种绘图分析方法,通常以“95%一致性界限”,用图形直观地反映出诊断试验测量结果的一致性。


(2) 有序分类变量

① 加权kappa系数

该检验方法是Kappa一致性检验针对有序分类变量的延伸,适用于开展重测一致性、观察者一致性和诊断试验一致性分析。


② Kendall协同系数

该检验又称为Kendall's W系数,适用于开展重测一致性、观察者一致性和诊断试验一致性分析。


(3) 无序分类变量

Kappa一致性检验。该检验又称Cohen's kappa,常用于对比两项检验结果的可重复性,多用于重测一致性、观察者一致性和诊断试验一致性分析。


没有账号?